КЛАССИФИКАЦИЯ ДЕЙСТВИЙ ЧЕЛОВЕКА ПО ДАННЫМ ВИДЕОПОТОКА

Автор: Алексей Валерьевич Подопросветов

Соавторы: Парамонов В.П.,Орлов И.А.

Организация: ИПМ им. М.В. Келдыша РАН.

В последнее время возрастает необходимость в улучшении условий работы сотрудников предприятий для повышения  эффективности и снижения травмоопасности рабочих процессов. Использование промышленных экзоскелетов стало одной из основных концепций, направленных на решение данной задачи.  Наибольшее распространение получили пассивные экзоскелеты, однако они не всегда могут необходимым  образом и в нужный момент перераспределить нагрузку. Больший интерес вызывают полуактивные конструкции. Для определения моментов времени включения и выключения экзоскелетов требуется определять как основные действия оператора (ОД – ходьба, поднятие рук, и т.п.), так и переходные действия (ПД – процесс подъёма тяжести).

Целью работы является создание модели классификации действий человека с наилучшей метрикой качества, используя видеопоследовательности. В работе рассматривается задача классификации целевых действий человека по данным, получаемым с оптических датчиков (ранее было рассмотрено решение, основанное на инерциальных датчиках [2]). В качестве примера рассматривается задача покраски стены с двумя целевыми бинарными переменными: угол между плечом и туловищем больше или меньше критического, и целевое состояния – красит человек стену или нет.

В рамках задачи были сняты 5 пар параллельных видео с двух разных ракурсов длительностью по 6 минут каждое, на которых человек занимается покраской стены. Для получения информации с кадра была выбрана система OpenPose [1], которая для каждого кадра видео возвращала координаты ключевых точек человека, изображенного на кадре. Таким образом, была собрана обучающая выборка с номером кадра, двумя бинарными целевыми переменными и координатами 25 ключевых точек на человеке.

По результатам анализа построенных моделей был выбран алгоритм XGBClassifier. Для сравнения моделей были выбраны метрики ROC AUC и Accuracy. Полученные результаты обучения на первом целевом действии дают точность ROC AUC – 98% и Accuracy – 94%, на втором целевом действии – ROC AUC – 99% и Accuracy – 95%.

1.        Cao Z. et al. OpenPose: realtime multi-person 2D pose estimation using Part Affinity Fields //arXiv preprint arXiv:1812.08008. – 2018.

2.        Подопросветов А.В. и др. Разработка системы управления биомеханическим комплексом помощи работникам производственных предприятий // В сборнике: XII Всероссийский съезд по фундаментальным проблемам теоретической и прикладной механики сборник трудов в 4-х томах. 2019. С. 196-198.