Adobe снова в деле. Компания презентовала text-to-video нейросеть Firefly Video Model и собралась «дать шума» на рынке видеомонтажа. Помните времена, когда для создания снега или огня в видеоролике нужно было часами возиться в монтажной? Вспомнили и забудьте. Теперь весь этот экшен – за пару кликов. Adobe планирует интегрировать инструмент в топовые программы Premiere Pro и After Effects.
Пока длина таких видео ограничена пятью секундами. Этого вполне достаточно, чтобы понять потенциал и грядущий масштаб. Все работает на базе текстовых запросов, как у большинства генеративных ИИ. Если нужно видео про закат, просто пишем что-то вроде «sunset over mountains» и получаем видеоряд с детальной прорисовкой света, тени и движений камеры.
Это серьезный шаг к автоматизации создания B-roll'ов. Видео для рекламы, интро для влогов или просто футажи для проектов можно генерировать на ходу. Firefly Video работает с разными типами эффектов: огонь, дым, вода и другое. Можно с выводом на зеленый для композитинга. Чтобы, к примеру, эффект огня кинуть поверх другого видео.
Нейронка доступна на сайте Firefly. Обещают, к концу 2024 года мы сможем увидеть полноценную интеграцию в продукты Adobe, но пока нужно ждать. И да, как обычно, никакого NSFW-контента, политики или селебрити. Адобовская модель цензурирует, что можно генерировать, а что не нужно. Сразу забудем о том, чтобы впихивать в кадры известных актеров. Не получится.
Для Adobe этот шаг вполне логичный и стратегически правильный. Компания давно закрепила за собой место лидера в софте для дизайна и медиа. Их продукты, такие как Photoshop, Premiere Pro, After Effects и Illustrator, используются повсеместно, от фрилансеров до голливудских студий.
С выходом Firefly Video Adobe планирует захватить еще одну важную нишу – рынок генеративного видео. Их прошлые разработки в области генеративных ИИ (к примеру, Firefly для создания изображений) получились вполне ничего и даже стали популярными среди дизайнеров. Очередь дошла и до видео. Важно отметить, что модели Adobe обучаются с соблюдением авторских прав. Это значит, что использовать сгенерированные видосы можно без страха, что кто-нибудь выкатит иск.
