Роботы используют новый инструмент ИИ, чтобы оценить все возможности перед принятием решений

Как и у людей, когда роботы принимают решение, часто есть много вариантов и сотни потенциальных результатов. Роботам удалось смоделировать несколько таких результатов, чтобы выяснить, какой образ действий будет наиболее вероятным для достижения успеха. Но что, если один из других вариантов в равной степени может быть успешным и более безопасным?

Управление военно-морских исследований наградило Брендана Энгло, инженера-механика, прошедшего обучение в Массачусетском технологическом институте, в Технологическом институте Стивенса, наградой молодого исследователя 2020 года в размере $508 693 за использование нового варианта классического инструмента искусственного интеллекта, позволяющего роботам прогнозировать множество возможных результатов, их действия, и вероятность того, что они произойдут. Инфраструктура позволит роботам выяснить, какой вариант является наилучшим способом достижения цели, путем определения того, какие варианты являются самыми безопасными, наиболее эффективными и с наименьшей вероятностью потерпят неудачу.

“Если самый быстрый способ для робота выполнить задачу – это идти по краю обрыва, это приносит в жертву безопасность для скорости”, – сказал Энгло, который будет одним из первых, кто использует этот инструмент, обучение по распределению и усилению, для обучения роботов. – “Мы не хотим, чтобы робот упал с края этого обрыва, поэтому мы даем ему инструменты для прогнозирования и управления рисками, связанными с выполнением желаемой задачи”.

В течение многих лет обучение с подкреплением использовалось для обучения роботов автономной навигации в воде, на суше и в воздухе. Но этот инструмент ИИ имеет ограничения, потому что он принимает решения на основе единственного ожидаемого результата для каждого доступного действия, хотя на самом деле часто бывает много других возможных результатов, которые могут произойти. Энгло использует обучение с распределенным усилением, алгоритм ИИ, который робот может использовать для оценки всех возможных результатов, прогнозирования вероятности каждого действия и выбора наиболее подходящего варианта, который может быть успешным при сохранении безопасности робота.

Прежде чем использовать свой алгоритм в настоящем роботе, первая задача Энгло – усовершенствовать алгоритм. Энгло и его команда создают ряд ситуаций для принятия решений, в которых можно проверить их алгоритм. И они часто обращаются к одной из любимых игровых площадок – играм Atari.

Например, когда вы играете в Pacman, вы являетесь алгоритмом, определяющим поведение игрока. Ваша цель – собрать все точки в лабиринте и, если можете, достать немного фруктов. Но есть призраки, которые могут вас убить. Каждую секунду вы вынуждены принимать решение. Вы идете прямо, налево или направо? Какой путь дает вам больше точек – и очков – при этом не давая вам призраков?

Алгоритм искусственного интеллекта Englot, использующий обучение с распределенным подкреплением, заменит игрока-человека, имитируя каждое возможное движение для безопасной навигации по ландшафту.

Так а как вы вознаградите робота? Энгло и его команда будут присваивать очки различным результатам, то есть, если он падает с обрыва, робот получает -100 очков. Если это займет более медленный, но более безопасный вариант, он может получить -1 очко за каждый шаг в обходе. Но если он успешно достигнет цели, он может получить +50.

“Одна из наших второстепенных целей состоит в том, чтобы увидеть, как могут быть разработаны сигналы вознаграждения, чтобы положительно влиять на то, как робот принимает решения и может быть обучен”, – сказал Энгло. – “Мы надеемся, что методы, разработанные в этом проекте, в конечном итоге могут быть использованы для еще более сложного ИИ, такого, как обучение подводных роботов безопасному перемещению в условиях изменяющихся приливов, течений и других сложных факторов окружающей среды”.