Llama от Meta

О сервисе Llama 3.1

Стартапы и крупные компании делятся в споре по поводу ИИ на два противоположных лагеря. Одни выступают за открытый исходный код, другие – за закрытый. Одни убеждают в необходимости делать технологии демократичными, другие призывают быть бдительными и беспокоятся о безопасности (о прибыли, видимо, тоже).

Соучредитель компании Meta Марк Цукерберг считает, что ПО с открытым исходным кодом должны стать стандартом. По мнению бизнесмена, open-source – разговор про доверие, прозрачность, развитие и инновации. Сказано – сделано. Знакомьтесь, Llama 3.1 – нейросеть с открытым кодом, которая еще на этапе превью в апреле показала хорошие результаты в сравнении с закрытыми моделями.

Начнем с того, что обновленная Llama представлена в трех вариантах – 405B, 70B и 8B. Друг от друга варианты отличаются параметрами и, конечно, «умом», то есть способностью «думать» и генерировать ответы. Судя по весу, самой популярной окажется средняя – можно ставить почти на любое «железо». Самая мощная и интеллектуально одаренная – 405B.

Все вопросы о разнице версий и конкурентоспособности этих моделей с лидерами рынка закрывают таблицы с бенчмарками. Если коротко, флагманская модель (405B) примерно наравне, а где-то обходит по ряду задач GPT-4, GPT-4o и Claude 3.5 Sonnet. Переходите по ссылке и сравнивайте метрики по всем дата-сетам.

Возможности Llama 3.1

Контекст обновленной версии увеличен до 128 тысяч токенов. Все модели многоязычны («владеют» 8 языками). Самая крупная модель (405B) обучена на более чем 15 триллионах токенов, что, собственно, и позволило флагманской Llama догнать и местами обогнать конкурентов, демонстрируя удивительные возможности в области генерации текста и программирования. Новая Llama блестяще рассуждает, анализирует, делает выводы и находит решение самых сложных задач.

Разработчики выкрутили до максимально возможного качество, точность, полезность генерируемых ответов. И это на фоне того, что модели можно скачать и адаптировать под себя, провести дополнительную тонкую настройку. Сторонние разработчики могут использовать очень хороший продукт в качестве базы для своих приложений, улучшая и развивая его в области новых данных. Тот случай, когда лучшее – не враг, а друг хорошего.

Мы уже видели, как в результате таких интеграций получались крутые штуки. Meta (признана экстремистской организацией в РФ) внедрила ИИ-помощника на базе предыдущей версии Llama в Instagram, WhatsApp и Facebook (запрещены в России). В медицине благодаря Llama появился Meditron – набор, адаптированный к принятию клинических решений, включая чрезвычайные ситуации, требующие быстрого и точного медицинского реагирования.

Будем наблюдать, что получится с помощью обновленных моделей благодаря потенциалу открытого кода. Многоязычие и увеличенная длина контекста открывают большие возможности. В этом месте не можем не вспомнить пословицу «С большой силой приходит большая ответственность». Подробнее о том, как Meta решает вопрос с безопасностью масштабирования коллекции «лам», читайте в блоге.

Как начать работу с Llama 3.1

Веса модели в открытом доступе на HuggingFace. Выбирайте и скачивайте с учетом возможностей вашего ПК. Самая неприхотливая – 8B, более требовательная – 70B, а 405B – для вычислительных мощностей вроде сервера (весит почти терабайт). Без установки можно попробовать прямо на сайте. Из России – нельзя («Ассистент пока недоступен в вашей стране»), но есть VPN, а также сторонние «дружелюбные» сайты.

Выводы

Семейство «лам» от Meta – мощные, конкурентоспособные, опенсорсные нейросети. По бенчмаркам флагманская модель (405B) сравнима с топовыми моделями от Anthropic (Claude 3.5 Sonnet) и OpenAI (GPT-4o). Демонстрирует блестящие результаты при генерации кода, решении логических задач и создании творческих текстов. Местами уступает в детализации и лаконичности, но главное ее преимущество – открытый исходный код. Он дает сторонним разработчикам возможность совершенствовать эту модель, а главное – сделает «ламу» доступной для широкой аудитории.