Dream Machine от Luma AI

Что за нейросеть Dream Machine

Dream Machine – продукт компании Luma AI. Впрочем, название Luma прижилось и за самой нейросетью. Поэтому в нашем обзоре иногда мы будем использовать Luma, имея в виду Dream Machine. Нейросеть генерирует видеоролики. Правда, только короткие – 5-секундные. Получается реалистично, присутствует киношная плавность и стиль. В отличие от Sora, сервис доступен в бесплатной версии всем, пусть и с лимитом на количество видео – 30 генераций в течение месяца. За деньги можно расширить.

Возможности сервиса Dream Machine

Модель генерирует ролики из текстовых промптов и картинок. Видео выглядят убедительней в сравнении с конкурентами (Pika, Runway Gen-2). Герои сохраняют лицо на протяжении ролика, но не всегда. Иногда персонажи становятся кем-то другим, чем грешат, справедливости ради заметим, все генераторы видео. В социальных сетях преимуществом Dream Machine называют способность анимировать фото. Говорят, с «оживлением» нейросеть справляется лучше всего. А вот тексты генерирует неудачно – почти всегда выходят с ошибками или вообще нечитаемо. У системы отличная скорость – на создание ролика уходит примерно 120 секунд. Одна из самых стремительных моделей генерации видео.

Сколько стоит подписка на Dream Machine 

Пока Sora от Open AI готовится к релизу, Dream Machine уже сегодня в открытом доступе и выдает за регистрацию целых 30 генераций бесплатно ежемесячно с одним «но» – для некоммерческого использования. Нужно больше – платите. Пакеты стартуют от $7,99. Кроме большего количества генераций, за деньги получите лучшее качество, отсутствие watermark и даже возможность использовать ролики в «корыстных», то есть коммерческих целях. Подписка покупается в разделе Account. Годовые пакеты идут со скидкой 20%.�

Советы по использованию Dream Machine

Чтобы не тратить бесплатный пакет генераций напрасно, учтите пару советов:

• нейросеть генерирует лучше по фото – приложите картинку и допишите запрос, но будьте готовы к неожиданным «пертурбациям»;
• пишите промпты на английском, а если не знаете, используйте переводчики (к примеру, DeepL, который, кажется, лучший в сегменте);
• не прописывайте слишком длинные промпты – ролик длится 5 секунд, и лучше потратить эти секунды на простую динамику (ест, пьет, идет);
• удачная формула промпта – «объект» плюс «действие» и отметить галочкой поле Enhance Prompt (нейросеть расширит до оптимального);
• если трюк с Enhance Prompt не вышел, снимите галочку и пропишите детали самостоятельно, уложившись в 3-4 простых предложения;
• с большой вероятностью, киношный сюжет получится хорошо – есть мнение, что модель обучали на широком каталоге фильмов;
• говорят, что стоит добавить описание стиля (например, shot on film), движения камеры (например, dramatic zoom in) и другие технические подробности;
• сгенерированное видео доступно во вкладке Your Creations, через клик по правой кнопке ролик можно сохранить. 

Как и другие видеогенераторы, Dream Machine без зазрения совести ошибается на каждом шагу. То, что по промпту должно бежать, может взлететь или ползать. Искажение формы – да, пожалуйста. Перегенерация иногда помогает, но не всегда.

Выводы

Снова убеждаемся, что нейросети для генерации видео – пока «сырой», но все же перспективный продукт. Людей в создании такого контента они пока не заменят, но скорость их эволюции не может не впечатлить. Еще недавно мы и мечтать не могли о сервисах вроде Dream Machine или Sora. Теперь они стали частью нашей реальности. Ряд проблем пока остаются нерешенными – например, артефакты, но важный шаг в направлении нейро-кино-искусства мы сделали. В частности, Luma AI удалось обучить свою нейросеть довольно эффектным с точки зрения реалистичности, плавности и точности трюкам. По крайней мере, с простыми промптами («cup of coffee on the table») она справляется достойно.