Декабрь намечается жарким 🔥. В анонсы и релизы решили сыграть все крупные игроки IT и AI-рынка. Глаза разбегаются от ассортимента новинок. И вот еще одна нейронка, которая стоит внимания. Знакомьтесь, Trellis. Опенсорсный 3D-генератор от Microsoft великолепного качества. Пока работает из картинки на входе, но text-to-3D подвезут.
Судя по качеству, тренировали на очень хорошем датасете. Выглядит убедительно. Даете на вход картинку – выдаст объем с деталями. Иногда додумывает специфически, но на фоне других – крутое качество. Анонсируют редактирование сгенерированных изображений через промпты – замени, убери, добавь. Локальные правки – дело хорошее. Пусть подвозят.
А ведь недавно что-то подобное выкатила NVIDIA. Edify 3D работает и с текстом, и с картинкой на входе. Генерирует в 4K с идеальной сеткой. Обучена на лицензированных изображениях Shutterstock. Но Trellis нам дает (потенциально) большую свободу в модификации сгенерированных объектов, и главное – open-source.
В репозитории на GitHub все про нейронку расписано. В папке Paper «многабукаф» про механику Trellis 📜. Если коротко, модель обучена с использованием до 2 миллиардов параметров и набора 3D-активов, состоящего из 500 тысяч объектов. Генерирует «высококачественные результаты, значительно превосходя существующие модели». Там же много красоты с примерами и ссылка, где это дело можно потрогать онлайн.
Что касается установки, за кодом идем на GitHub 🛠️. Потребуется Linux (пока что) и графический процессор NVIDIA с памятью не менее 16 ГБ. NVIDIA A100 или A6000 – идеал. С Windows тоже можно, но лучше не нервничать и подождать, пока протестируют. Еще понадобится набор инструментов CUDA, Python 3.8+ и, конечно, терпение на установку через скрипты. Пошаговая инструкция, как все это дело залить себе на железо, лежит на GitHub под списком файлов. Со скринами, конечно.
В общем, давайте тестить и делиться впечатлениями. Все-таки лучший 3D-генератор или Microsoft по старой доброй привычке сам себя похвалил и перехвалил?
