Dream Machine от Luma AI
Что за нейросеть Dream Machine
Dream Machine – продукт компании Luma AI. Впрочем, название Luma прижилось и за самой нейросетью. Поэтому в нашем обзоре иногда мы будем использовать Luma, имея в виду Dream Machine. Нейросеть генерирует видеоролики. Правда, только короткие – 5-секундные. Получается реалистично, присутствует киношная плавность и стиль. В отличие от Sora, сервис доступен в бесплатной версии всем, пусть и с лимитом на количество видео – 30 генераций в течение месяца. За деньги можно расширить.
Возможности сервиса Dream Machine
Модель генерирует ролики из текстовых промптов и картинок. Видео выглядят убедительней в сравнении с конкурентами (Pika, Runway Gen-2). Герои сохраняют лицо на протяжении ролика, но не всегда. Иногда персонажи становятся кем-то другим, чем грешат, справедливости ради заметим, все генераторы видео. В социальных сетях преимуществом Dream Machine называют способность анимировать фото. Говорят, с «оживлением» нейросеть справляется лучше всего. А вот тексты генерирует неудачно – почти всегда выходят с ошибками или вообще нечитаемо. У системы отличная скорость – на создание ролика уходит примерно 120 секунд. Одна из самых стремительных моделей генерации видео.
Сколько стоит подписка на Dream Machine
Пока Sora от Open AI готовится к релизу, Dream Machine уже сегодня в открытом доступе и выдает за регистрацию целых 30 генераций бесплатно ежемесячно с одним «но» – для некоммерческого использования. Нужно больше – платите. Пакеты стартуют от $7,99. Кроме большего количества генераций, за деньги получите лучшее качество, отсутствие watermark и даже возможность использовать ролики в «корыстных», то есть коммерческих целях. Подписка покупается в разделе Account. Годовые пакеты идут со скидкой 20%.
Советы по использованию Dream Machine
Чтобы не тратить бесплатный пакет генераций напрасно, учтите пару советов:
- нейросеть генерирует лучше по фото – приложите картинку и допишите запрос, но будьте готовы к неожиданным «пертурбациям»;
- пишите промпты на английском, а если не знаете, используйте переводчики (к примеру, DeepL, который, кажется, лучший в сегменте);
- не прописывайте слишком длинные промпты – ролик длится 5 секунд, и лучше потратить эти секунды на простую динамику (ест, пьет, идет);
- удачная формула промпта – «объект» плюс «действие» и отметить галочкой поле Enhance Prompt (нейросеть расширит до оптимального);
- если трюк с Enhance Prompt не вышел, снимите галочку и пропишите детали самостоятельно, уложившись в 3-4 простых предложения;
- с большой вероятностью, киношный сюжет получится хорошо – есть мнение, что модель обучали на широком каталоге фильмов;
- говорят, что стоит добавить описание стиля (например, shot on film), движения камеры (например, dramatic zoom in) и другие технические подробности;
- сгенерированное видео доступно во вкладке Your Creations, через клик по правой кнопке ролик можно сохранить.
Как и другие видеогенераторы, Dream Machine без зазрения совести ошибается на каждом шагу. То, что по промпту должно бежать, может взлететь или ползать. Искажение формы – да, пожалуйста. Перегенерация иногда помогает, но не всегда.
Выводы
Снова убеждаемся, что нейросети для генерации видео – пока «сырой», но все же перспективный продукт. Людей в создании такого контента они пока не заменят, но скорость их эволюции не может не впечатлить. Еще недавно мы и мечтать не могли о сервисах вроде Dream Machine или Sora. Теперь они стали частью нашей реальности. Ряд проблем пока остаются нерешенными – например, артефакты, но важный шаг в направлении нейро-кино-искусства мы сделали. В частности, Luma AI удалось обучить свою нейросеть довольно эффектным с точки зрения реалистичности, плавности и точности трюкам. По крайней мере, с простыми промптами («cup of coffee on the table») она справляется достойно.