ByteDance, тот самый, что дал миру TikTok (заберите обратно), выпустил модель для генерации видео PixelDance. А мы получили еще одну возможность превратить свои фантазии в художественное или не очень кино.
Выпускать video generation модели стало трендом 2024-го. Ну и куда без ТикТока. Китайцы вообще впереди планеты всей много где. И на рынке ИИ-инструментов суетятся с большим азартом. Новая модель PixelDance V1.4, она же «старшенькая», умеет text-to-video и image-to-video. Есть и «младшенькая» под названием Seaweed – попроще и полегче.
Нейросеть генерит ролики до 10 секунд. Заявлено, что очень стабильная модель. Сохраняет характеристики цвета и стиля при переходах и движении камеры. В сравнении с Runway и Luma не уступает, а в тестах по стилизации под 2D-аниме превзошла.
В опенсорсе не выкатили. Потрогать можно попробовать здесь. Пока на китайском. Кстати, пару месяцев назад ByteDance уже говорили об этой модели. Но примеры были из 2023-го. Новая версия вроде как сильно лучше. Поддерживает разные стили, горизонтальный и вертикальный формат. Но главная фишка – возможность генерировать сложные последовательные движения.
ИИ-видео часто страдает тем, что люди выглядят «деревянными». Странно махают руками и не менее странно шевелят ногами. В демках PixelDance динамика персонажей плавная, натуральная и почти безупречная. Одни объятия чего стоят. Ну и плюс мультикамерные съемки. PixelDance умеет в планы – от крупного, к примеру, на лицо, до общего. И без пиксельной «каши» при переходах.
Движения камеры – отдельный вид искусства. Вращение на 360 градусов, плавный отъезд, панорама. Самые сложные ракурсы – сверху вниз, наискосок. И все под вашим полным контролем. Это вам не рандомные мемы про котиков. Пишут, на презентации аплодисменты взрывали барабанные перепонки.
В общем, китайцы снова порвали. PixelDance явно метит на трон вместо Kling. Надеемся, не заставят ждать так долго, как Sora, и скоро откроют модель для широкой публики.
