ВОССТАНОВЛЕНИЕ ДВИЖЕНИЙ ЧЕЛОВЕКА ПО ДАННЫМ C IMU ДАТЧИКОВ ДЛЯ ИЗУЧЕНИЯ ЭНЕРГОЭФФЕКТИВНОСТИ ЭКЗОСКЕЛЕТОВ

ИПМ им. М.В. Келдыша РАН.

Данное исследование посвящено внедрению экзоскелетов в промышленность. Целью является создание комплекса программных и аппаратных средств для распознавания движений человека, необходимого для проведения экспериментов, направленных на достижения двух основных задач. Во-первых, показать энергоэффективность экзоскелетов для людей, которые используют экзоскелеты в обычных производственных задачах. Во-вторых, создать уникальную интеллектуальную систему управления для автоматической помощи оператору полупассивного экзоскелета, и предоставить рекомендации по ведению рабочих процессов. Проделанная работа заключается в разработке программного комплекса, с алгоритмами сбора и хранения данных, реконструкции траектории движения человека, системы визуализации данных и оптимизации модели человека. Полученная система позволяет быстро и точно собирать данные в производственных условиях для подсчета энергоэффективности экзоскелетов. Данный программный комплекс позволит собрать достаточно данных для применения методов машинного обучения в системе управления экзоскелетом.

Рассматривается упрощённая модель тела человека, состоящая из десяти звеньев, по два на каждую конечность и два звена на спину. Каждое звено неотрывно прикреплено к предыдущему сферическим шарниром. Ориентация каждого звена определяется по показаниям IMU-датчиков соответственно надетых на человека. Предполагается, что на человеке надето столько же датчиков, сколько и звеньев в модели, при том в соответствующих местах. На начальном этапе известна примерная точка крепления датчика на теле, а ориентация датчика может быть произвольной. Для ее вычисления проводится двух этапная калибровка. В рамках разработки системы визуализации решаются задачи оптимизации длин звеньев модели человека и задача восстановления траекторий движения частей тела. Затем производится экспериментальная проверка качества откалиброванной модели. По восстановленным траекториям эксперимента решается прямая задача динамики, и оценивается энергия, затрачиваемая человеком при совершении действий в эксперименте.

1. Подопросветов А.В., Анохин Д.А., Орлов И.А., Алисейчик А.П. Разработка системы управления биомеханическим комплексом помощи работникам производственных предприятий // В сборнике: XII Всероссийский съезд по фундаментальным проблемам теоретической и прикладной механики сборник трудов в 4-х томах. 2019. С. 196-198.

Алексей Валерьевич Подопросветов

• Подробнее...

КЛАССИФИКАЦИЯ ДЕЙСТВИЙ ЧЕЛОВЕКА ПО ДАННЫМ ВИДЕОПОТОКА

ИПМ им. М.В. Келдыша РАН.

В последнее время возрастает необходимость в улучшении условий работы сотрудников предприятий для повышения  эффективности и снижения травмоопасности рабочих процессов. Использование промышленных экзоскелетов стало одной из основных концепций, направленных на решение данной задачи.  Наибольшее распространение получили пассивные экзоскелеты, однако они не всегда могут необходимым  образом и в нужный момент перераспределить нагрузку. Больший интерес вызывают полуактивные конструкции. Для определения моментов времени включения и выключения экзоскелетов требуется определять как основные действия оператора (ОД – ходьба, поднятие рук, и т.п.), так и переходные действия (ПД – процесс подъёма тяжести).

Целью работы является создание модели классификации действий человека с наилучшей метрикой качества, используя видеопоследовательности. В работе рассматривается задача классификации целевых действий человека по данным, получаемым с оптических датчиков (ранее было рассмотрено решение, основанное на инерциальных датчиках [2]). В качестве примера рассматривается задача покраски стены с двумя целевыми бинарными переменными: угол между плечом и туловищем больше или меньше критического, и целевое состояния – красит человек стену или нет.

В рамках задачи были сняты 5 пар параллельных видео с двух разных ракурсов длительностью по 6 минут каждое, на которых человек занимается покраской стены. Для получения информации с кадра была выбрана система OpenPose [1], которая для каждого кадра видео возвращала координаты ключевых точек человека, изображенного на кадре. Таким образом, была собрана обучающая выборка с номером кадра, двумя бинарными целевыми переменными и координатами 25 ключевых точек на человеке.

По результатам анализа построенных моделей был выбран алгоритм XGBClassifier. Для сравнения моделей были выбраны метрики ROC AUC и Accuracy. Полученные результаты обучения на первом целевом действии дают точность ROC AUC – 98% и Accuracy – 94%, на втором целевом действии – ROC AUC – 99% и Accuracy – 95%.

1.        Cao Z. et al. OpenPose: realtime multi-person 2D pose estimation using Part Affinity Fields //arXiv preprint arXiv:1812.08008. – 2018.

2.        Подопросветов А.В. и др. Разработка системы управления биомеханическим комплексом помощи работникам производственных предприятий // В сборнике: XII Всероссийский съезд по фундаментальным проблемам теоретической и прикладной механики сборник трудов в 4-х томах. 2019. С. 196-198.

Алексей Валерьевич Подопросветов

• Подробнее...