Стартап Runway выкатил инструмент для создания выразительных персонажей. Act-One позволяет генерировать анимацию, используя на входе личное видео с голосом. Проще говоря, сидите и кривляетесь перед камерой, а персонаж дублирует мимику.
Раньше было что-то похожее, только сложнее. Традиционный подход к созданию анимации – многослойный технический процесс, в котором принимают участие системы захвата движения, компьютерная обработка и редакторская шлифовка. В общем, все сложно, долго и дорого. И не всегда получается гладко. При переносе эмоций с актера на 3D-модель часто теряются очень важные нюансы эмоций.
И тут пришел Runway и снова всех сделал. Act-One – совсем другой подход. Инструмент для создания анимации работает без всяких девайсов исключительно на основе актерской игры. Полное сохранение нужной мимики. Эмоции «заходят» в персонажей как родные. Пропорции не имеют значения. Нейронка перенесет все, что нужно, туда, куда нужно.
В общем, теперь home скетчи на фоне ковра можно превращать в мультфильмы уровня Pixar. Да, потому что Act-One умеет не только в анимацию статичных лиц. Модель прекрасно справляется с динамикой, выдавая поразительную точность картинки при смене угла. Персонажи способны энергично вертеть головой, не теряя на поворотах лицо (в буквальном смысле).
С Act-One мы получили возможность генерировать экспрессивные диалоговые сцены. Все, что для этого нужно – обычная камера «потребительского класса», как пишут на сайте компании. И, конечно, актер, то есть любой, кто любит гримасничать на камеру и говорить выразительно. Все. Можно снимать свой «Титаник» без бюджета на массовку и корабль. Кстати, выкатка модели началась. Так что первые шедевры не за горами.
Как обычно, Runway оборудовала модель системами безопасности. Модерация жесткая. Система распознает попытки создания контента с публичными фигурами и блокирует их. Плюс контроль за использованием голосов, чтобы никто не игрался с чужим вокалом. В общем, диалог с каким-нибудь президентом сгенерировать не получится. Впрочем, этика – далеко не первое слово в корпоративном словаре Runway. В этом месте давайте вспомним скандал, когда компания оказалась в центре внимания совсем не потому, что релизнулась или апдейтнулась.
В июле этого года издание 404 Media уличило стартап в использовании пиратских фильмов и роликов с YouTube для обучения ИИ-модели. В руки репортеров попали таблицы с данными, подтверждающими факт несанкционного применения материалов. В документе упоминались YouTube-каналы Netflix, Disney и Nintendo, а также новостные издания The New Yorker, Reuters и The Verge. Бывший сотрудник Runway подтвердил – да, эти качественные ресурсы (не поспоришь) использовались компанией при обучении нейронки.
Подтвердить или опровергнуть никому ничего не удалось по одной простой причине – установить постфактум невозможно. Runway, понятное дело, от всего отреклась и комментарии дать отказалась. Зато мы можем генерировать годное видео.
Runway запустила video-to-video в Gen-3 и открыла портал в мир кринжовых генераций
Neiroset.com — Все о нейросетях: каталог сервисов, статьи, блоги. Runway запустила video-to-video в Gen-3 и открыла портал в мир кринжовых генераций
Теперь и анимацию крутую подвезли. И какая нам, в общем-то, разница, на чем обучали все эти неройнки, которые открывают такие возможности. Или разница есть? Давайте обсудим в комментариях вопросы этики и приватности.
