Система Conduct-A-Bot использует мышечные сигналы для более естественного общения человека с роботом

Альберт Эйнштейн, как известно, постулировал, что единственно реальная вещь – это интуиция, возможно, это также один из самых важных ключей к пониманию намерения и коммуникации.

Но интуитивность трудно учить – особенно машине. Чтобы улучшить это, команда из Лаборатории компьютерных наук и искусственного интеллекта MIT (CSAIL) разработала метод, который приближает нас к более беспрепятственному сотрудничеству между человеком и роботом. Система, называемая Conduct-A-Bot, использует сигналы человеческих мышц от носимых датчиков для управления движением робота.

“Мы представляем мир, в котором машины помогают людям с когнитивной и физической работой, и для этого они адаптируются к людям, а не наоборот”, – говорит профессор Даниэла Рус, директор CSAIL, заместитель декана по исследованиям MIT, Колледжа вычислительной техники им. А. Шварцмана и соавтор статьи о системе.

Чтобы обеспечить бесперебойную совместную работу между людьми и машинами, электромиография и датчики движения надеваются на бицепс, трицепс и предплечья для измерения мышечных сигналов и движения. Затем алгоритмы обрабатывают сигналы для обнаружения жестов в режиме реального времени без какой-либо автономной калибровки или данных обучения для пользователя. Система использует только два или три носимых датчика и ничего в окружающей среде – в значительной степени уменьшая барьер для случайных пользователей, взаимодействующих с роботами.

Хотя Conduct-A-Bot потенциально может использоваться для различных сценариев, включая навигацию по меню на электронных устройствах или наблюдение за автономными роботами, для этого исследования команда использовала беспилотник Parrot Bebop 2, хотя можно было использовать любой другой коммерческий дрон.

Обнаруживая такие действия, как вращательные жесты, сжатые кулаки, напряженные руки и активированные предплечья, Conduct-A-Bot может перемещать дрон влево, вправо, вверх, вниз и вперед, а также позволять ему вращаться и останавливаться.

Если вы указали вправо своему другу, робот, вероятно, мог бы истолковать, что необходимо двигаться в этом направлении. Точно так же, если вы махнете рукой влево, например, дрон последует его примеру и сделает левый поворот.

В ходе испытаний беспилотник правильно реагировал на 82 процента из более чем 1500 человеческих жестов, когда им управляли дистанционно, чтобы летать через обручи. Система также правильно определила примерно 94 процента жестов, когда дрон не контролировался.

“Понимание наших жестов может помочь роботам интерпретировать больше невербальных сигналов, которые мы естественным образом используем в повседневной жизни”, – говорит Джозеф ДельПрето, ведущий автор новой статьи. – “Этот тип системы может помочь сделать взаимодействие с роботом более похожим на взаимодействие с другим человеком, и упростить кому-то запуск роботов без предварительного опыта или внешних датчиков”.

Этот тип системы может в конечном итоге предназначаться для целого ряда приложений для совместной работы человека и робота, включая дистанционное исследование, вспомогательные персональные роботы или производственные задачи, такие как доставка объектов или подъем материалов.

Эти интеллектуальные инструменты также совместимы с социальными дистанциями и могут потенциально открыть область будущей бесконтактной работы. Например, вы можете представить себе машины, которыми управляют люди, чтобы безопасно убирать больничную палату или бросать лекарства, позволяя нам, людям, оставаться на безопасном расстоянии.

Мышечные сигналы часто могут предоставить информацию о состояниях, которые трудно наблюдать визуально, такие как тугоподвижность суставов или усталость.

Например, если вы смотрите видео с кем-то, держащим большую коробку, у вас могут возникнуть затруднения с предположением, какое усилие потребовалось – и машине также будет сложно измерить это по одному зрению. Использование мышечных датчиков открывает возможности для оценки не только движения, но и силы и крутящего момента, необходимых для выполнения этой физической траектории.

Для словаря жестов, используемого в настоящее время для управления роботом, движения были обнаружены следующим образом:

• усилить плечо, чтобы остановить робота (похоже на кратковременное сжимание, когда видишь, что что-то идет не так): сигналы мышц бицепса и трицепса;
• машет рукой влево/вправо и вверх/вниз для перемещения робота вбок или вертикально: сигналы мышц предплечья (с акселерометром предплечья, указывающим ориентацию руки);
• сжатие кулака для перемещения робота вперед: сигналы мышц предплечья;
• а также вращение по часовой стрелке / против часовой стрелки для поворота робота: гироскоп предплечья.

Классификаторы машинного обучения выявляли жесты с помощью носимых датчиков. Неуправляемые классификаторы обрабатывали данные о мышцах и движениях и группировали их в режиме реального времени, чтобы научиться отделять жесты от других движений. Нейронная сеть также предсказала сгибание запястья или расширение из предплечья сигналов мышц.

По сути, система настраивается на сигналы каждого человека, в то время как они делают жесты, управляющие роботом, что позволяет обычным пользователям быстрее и проще начать взаимодействовать с роботами.

В будущем команда надеется расширить тесты, чтобы включить больше предметов. И хотя движения для Conduct-A-Bot охватывают общие жесты для движения роботов, исследователи хотят расширить словарный запас, включив в него более непрерывные или определяемые пользователем жесты. В конечном счете, надежда состоит в том, чтобы роботы извлекли уроки из этих взаимодействий, чтобы лучше понять задачи и предоставить больше прогнозирующей помощи или увеличить свою автономию.

“Эта система приближается на один шаг к тому, чтобы позволить нам беспрепятственно работать с роботами, чтобы они могли стать более эффективными и интеллектуальными инструментами для повседневных задач”, – говорит DelPreto. – “Поскольку такое сотрудничество продолжает становиться все более доступным и распространяющимся, возможности для синергетического эффекта продолжают расширяться”.

По материалам Techxplore