Тренировка ИИ для преобразования мозговой деятельности в текст

Еще в 2008 году физик-теоретик Стивен Хокинг использовал программу синтезатора речи на компьютере Apple II для “разговора”. Он должен был использовать ручное управление для работы системы, что стало проблематичным по мере развития его болезни Лу Герига. Когда он перешел на новое устройство, называемое “щечный переключатель”, было обнаружено, что когда Хокинг напрягал мышцу щеки, помогая ему говорить, он также мог писать электронные письма или просматривать веб-страницы.

Теперь неврологи из Калифорнийского университета в Сан-Франциско придумали гораздо более продвинутую технологию – программу искусственного интеллекта, которая может превращать мысли в текст. Со временем он может помочь миллионам людей с нарушениями речи легко общаться.

“Мы используем концептуальное сходство задачи расшифровки речи от нейронной активности с задачей машинного перевода, то есть алгоритмического перевода текста с одного языка на другой”, – писали ученые в новой статье, опубликованной в научном журнале Nature. Neuroscience.

Они приняли подход ИИ, который похож на перевод текста на разных языках. Основная теория одинакова в обоих случаях – цель состоит в том, чтобы преобразовать одну последовательность произвольной длины в другую, но входные сигналы – это разные нейронные сигналы в мозге по сравнению с текстом.

Чтобы проверить свою гипотезу, исследователи использовали испытания на людях. Ученые имплантировали электроды в мозг четырех участников с эпилепсией, чтобы контролировать их речь. Затем каждый человек читает вслух предложения из одного из двух наборов данных: набор описаний изображений, состоящий из 30 предложений и 125 уникальных слов, который содержит 460 предложений и около 1800 уникальных слов.

Каждый участник прочитал 50 предложений вслух несколько раз, включая такие строки, как “Тина Тернер – поп-певица” и “На кухне хаос”. Поскольку каждый человек говорил, исследователи контролировали деятельность их мозга. Затем они вводят данные в алгоритм машинного обучения, который может переключать мозговые волны в цепочку чисел, которые кодируют предложения. В другой части системы числа были преобразованы обратно в последовательность слов.

Вначале система придумала несколько бессмысленных фраз: “Шпинат был известным певцом”, строки с неправильной грамматикой, типа “несколько взрослых, которых съели дети”, и некоторые в конечном итоге философски звучащие предложения, такие как “оазис был миражом”. Со временем система улучшилась, поскольку исследователи выделили начальные предложения, которые участники прочитали вслух, для сравнения.

В одном случае система получила 97 процентов правильных предложений, что составляет меньше ошибок, чем у обычного человека. Тем не менее, алгоритм обрабатывает только небольшое количество предложений и слов по сравнению с тем, что в конечном итоге пожелает пользователь.

Тем не менее, система в настоящее время работает только на словесной речи, то есть те, кто страдает от расстройств речи, вызванных параличом мышц, пока не получат выгоды.