Нейросеть Stable Video Diffusion - создание видео и картинок

Что умеет: Британский стартап Stability AI стал известным благодаря генератору изображений Stable Diffusion, который считается конкурентом Midjourney. В ноябре 2023 года в рамках исследовательского проекта компания релизнула генератор видео Stable Video Diffusion. Нейросеть создает четырехсекундные ролики на основе текстовых описаний, но «механика» отличается от привычной.

Сначала нейросеть Stable Video Diffusion генерирует из текста 4 варианта картинки, списывая кредиты (11 штук). И только потом переходит к этапу создания видео, анимируя изображение, на которое вы укажете. До того как начать генерацию видео, можно настроить движение камеры и задать другие параметры в разделе Advanced. Есть опция оживления фото – загружаете на платформу любую картинку и, минуя этап генерации изображений, приступаете к анимации.

Доступ: бесплатно (ежедневно начисляют 40 кредитов).

Стоимость: подписки нет, но можно докупать кредиты (от $10 за 500 штук, хватит примерно на 50 генераций).

Оплата российскими картами: нет.

Нужно ли использовать VPN: нет.

Поддержка русского языка: нет.

На каких платформах работает: веб-версия, демо на Hugging Face (image-to-video), веса и код для установки на компьютер.

ТОП-3 фишек:

• хорошо понимает объем, «додумывая», как объекты выглядят с разных сторон;
• встроен генератор изображений Stable Diffusion – топовая нейронка в сегменте;
• бесплатный доступ – ежедневно начисляют кредиты, можно скачать код и веса.

ТОП-3 применений:Для коммерческого использования, творчества и даже развлечения нейросеть Stable Video Diffusion пока не пригодна. Это не делает ее бесполезной. Модель ориентирована на обучение. Stability AI позиционирует Stable Video Diffusion как open-source платформу для тестов. Веса для тех, кто хочет экспериментировать и развивать, в открытом доступе.

Что понравилось: Выдает хорошие картинки, что вполне обосновано. Под капотом – нейронка SD, которая, да, получает от хейтеров море критики, но пока остается популярной и флагманской. Что касается видео, Stable Video Diffusion в целом справляется с простыми задачами вроде idle-анимаций (элементарных движений на месте) или вращения камеры вокруг объекта, но что-то амбициозное выходит за рамки ее возможностей.

Что не понравилось: Окрыленные успехом SD, разработчики решили освоить нишу генераторов видео. Пока получилось не очень. Нейросеть Stable Video Diffusion работает по не самому удобному алгоритму. Сначала – картинки. Потом – анимация. Напрямую нельзя. Магии text-to-video нет. Когда другие модели справляются с этой задачей самым коротким путем, двухступенчатый процесс выглядит странной штукой.

Другая проблема – качество. Сложные сцены с высокой динамикой нейросети Stable Video Diffusion не по плечу. Модель откровенно сырая. В своем текущем состоянии она не выглядит конкурентоспособной. Разработчики называют ее «экспериментальным проектом» и пока за рамки экспериментов не вышли. Ролики часто (почти всегда) получаются с искажениями.

Оценка редакции:

Простота использования: 4,6/5

Точность и надежность: 3,9/5

Настройки и гибкость: 4,1/5

Функциональность: 4,2/5

Производительность: 4,0/5

Общая оценка сервиса: 4,2/5

Примеры работ:

Категории нейросети Stable Video Diffusion