Создан алгоритм дипфейка, позволяющий редактировать речь диктора в видео

Каждый дипфейк в Интернете должен иметь благое обоснование, по крайней мере, на первых этапах. Вот и новая разработка компании Adobe Research, созданная в сотрудничестве с учеными из Института Макса Планка и Стенфорда, создана с целью минимизировать время съемок видео за счет применения дипфейка. С помощью новой технологии можно вложить в уста человека на записанном видео абсолютно любой текст и сделать это таким образом, как будто бы он реально его озвучил, а не записывал десятки неудачных дублей при реальных съемках.

Для работы нейросети для обработки видео необходимо не менее 40 минут оригинальной съемки со стенограммой того, что озвучивает диктор. Программа тщательно изучает мимику человека, сопоставляет фрагменты текста с движениями мышц лица и составляет трехмерную модель «говорящей головы». Затем дело за малым: сопоставить последовательность жестов под заданный текст, сгенерировать необходимые текстуры и наложить их на лицо говорящего.

В данной системе применяется технология машинного обучения под названием Neural Rendering, которая отвечает за реалистичность изображения. Для добавления звука в полученный ролик необходим дополнительный модуль, например, сервис VoCo, работающий по похожей схеме. Появление нового дипфейка не стало сенсацией в мире высоких технологий и даже не вызывает удивление на фоне прочих достижений в этой области. Интереснее другое: создатели сами признают, что таким образом готовят оружие для информационной войны, и выстрелит наверняка совсем скоро – на предстоящих выборах президента США, которые состоятся в 2020-ом году.

Важно также заметить, что разработчики опасаются именно такого развития ситуации и хотят опередить вероятное развитие ситуации и познакомить мир с дипфейком для идеального саботажа информационных новостных выпусков и различных сомнительных «утечек данных». Все это делается, чтобы мир успел привыкнуть и попытался выработать иммунитет к этим технологиям. Или хотя бы подстегнуть работу по созданию качественных методов обнаружения дипфейков и разработать новые способы расследования и определения, где – правда, а где – ложь. К сожалению, вся суть генеративно-состязательных нейросетей как раз в том, чтобы раз за разом создавать все более реалистичные фейки. И в этом машины уже давно превзошли нас, простых людей.