Яндекс добавил в свою нейросеть Шедеврум технологию создания коротких видео, которая позволяет пользователям создавать короткие видеоролики на основе изображений. Видео сделанные Шедевриум можно использовать для создания анимационных роликов, музыкальных клипов или динамических аватаров в социальных сетях.
Приложение Шедеврум генерирует видео длиной в 4 секунды с частотой кадров 24 в секунду. Видео можно опубликовать или сохранить в формате MP4. Функция доступна в режиме бета-тестирования в обновленной версии приложения.
Чтобы создать видео нейросетью, пользователь должен описать, что он хочет увидеть (прописывается promt), и выбрать один из семи анимационных эффектов: зум, таймлапс, полет, панорама, вращение, подъем и морфинг. Нейросеть на основе выбранного изображения генерирует несколько его измененных версий, которые затем объединяются выбранным эффектом.
Для создания кадров будущих видеороликов применяется методика каскадной диффузии с использованием технологии Шедеврума. Этот метод позволяет создавать отдельные изображения по запросу с постепенным увеличением разрешения и детализации.