Disney представила собственный алгоритм для создания дипфейков — видео, в которых лица людей, появившихся в ролике, можно изменять с помощью нейросетей. Об этом пишет Verge со ссылкой на материал, опубликованный на сайте Disney Research.
Как объясняют в Disney, основное отличие их технологии от нейросетей, которые можно бесплатно найти в интернете (например, DeepFaceLab), в том, что Disney работают с изображением в более высоком разрешении, чем тот же DeepFaceLab.
То есть, если вы задавались вопросом, почему Мартин Скорсезе не использовал в «Ирландце» нейросеть, чтобы омолодить или состарить Роберта де Ниро, то ответ именно в этом — в детальности изображения.
Дипфейк-видео могут убедительно выглядеть на экране смартфона, но, скажем, в кинотеатре вы сразу увидите все «швы» технологии. Все потому, что сейчас нейросети заточены под то, чтобы заменять лица в видео максимально плавно, а не на высокое разрешение изображения.
Для сравнения, у DeepFaceLab разрешение 256*256 пикселей, а у технологии Disney — 1024*1024.
Алгоритм Disney пока не может похвастаться идеальным качеством «пересадки лиц», но, видимо, именно такая технология через какое-то время будет применяться в высокобюджетных голливудских фильмах.
Пока что еще одна проблема дипфейк-нейросети Disney в том, что она рассчитана только на хорошее освещение и на ситуации, когда человек в кадре смотрит более-менее в камеру.
В компании отмечают, что технология близка к тому, чтобы ее можно было использовать в коммерческих целях. Пока же киностудии продолжают использовать компьютерную графику — трудоемкий и дорогостоящий процесс.