ByteDance выкатила Goku. Нет, это не новый тренд в TikTok. И не хокку. Это семейство нейросетей, которые делают видео. Рекламные. Реалистичные. Из ничего. Точнее, из картинок и текста. Модели Goku генерируют text-to-video, image-to-video, text-to-image. Говорят, что в создании принимали участие исследователи Гонконгского университета, а результат этой коллаборации превосходит аналоги.
Архитектура — Rectified Flow Transformers. Именно она позволяет генерировать ультрареалистичные видео. Как принято, компания ссылается на бенчмарки 📊. Мол, «внутренние тесты» показали, что Goku круче Pika, Sora и Kling. Ну, во-первых, знаем мы эти бенчмарки, и доверия к ним никакого. Во-вторых, да, как будто бы Goku набрала наивысший общий балл (84.85), но если покопаться в деталях, все не так однозначно. В Scene, Dynamic Degree, Multiple Objects нейронка хороша, но не лидер. Не безоговорочный чемпион. Ее преимущество — баланс между метриками.
Фото: результаты тестов VBench (habr.com)
Но мы здесь не только для того, чтобы показать еще один генератор видео (хотя это тоже). Эксклюзивное в семействе Goku — Goku+. Заточена под рекламу. Создает ролики до 20 секунд с реалистичными людьми (аватарами), которые не просто шевелят губами, головой и руками, а взаимодействуют с вещами из внешнего мира 🧍. Загружаешь картинку — и цифровая модель аппетитно пробует бенто, распаковывает смартфон, крутится перед камерой в новом платьице 👗.
Это делает Goku+ идеальным инструментом для рекламных агентств и брендов. А еще это значит, что блогеры с их гонорарами больше, кажется, не нужны. ByteDance утверждает, что компании сэкономят на производстве рекламы 99%. Видео-маркетинг — это дорого. Очень дорого 💸. Компании платят кучу денег «создателям пользовательского контента», чтобы те снимали рекламные ролики с их продуктами. Теперь — все. Цифровая модель тоже сделает все «искренне», «честно» и «по-дружески советуя», только бесплатно и за пару секунд.
А ведь недавно компания показала нам OmniHuman-1. Не успела одна нейронка остыть, как другая (Goku) подъехала. ByteDance где-то, видимо, откопали кнопку «ускорить x10» ⏩. Пока конкуренты «активно исследуют» и «в ближайшее время готовят», ByteDance берет и делает.
Не паниковать. Goku — тестовый проект. Доступа у публики (и компаний) к нейронке нет. Когда будет — неясно. Возможно, интегрируют эту штуку в TikTok. Понятно, что пылиться на полке не станет. Виртуальные инфлюенсеры уже наступают на пятки. Со дня на день начнут толкаться локтями, спихивая «живых» конкурентов за борт этого ИИ-корабля 🚢.
Похоже, мы на пороге новой эпохи, где рекламное видео станет синтетической штукой. Реклама, конечно, никогда сильно не билась с идеями натуральности и правдивости, но всегда была теплым местом для тех, кто хотел здесь погреться финансово. И вот мы приходим к тому, что на рекламу больше не нужны миллиарды.
Пострадают ли блогеры? Мы уверены, эти ребята найдут себе нишу, где можно продолжать заниматься любимым — делать деньги из воздуха. Будут «мутировать». Могут, к примеру, продавать свои «копии» — ИИ-аватары. Узнаваемое лицо — ценный ресурс. Аудитория доверяет тому, кого знает. А мы берем модель Goku в закладки и обязательно сообщим, когда релизнут бету.
