Компания Google представила обновлённую версию своей языковой модели Gemma 3, которая стала легче и быстрее благодаря специальной технологии сжатия — квантованию.
Источник фото: digitaltrends.com
Quantization-Aware Training (QAT) позволила уменьшить требования к оперативной памяти и сделать модель доступной для более широкого спектра устройств, утверждают в Google.
Теперь расширенная версия Gemma 3 способна запускаться даже на обычной игровой видеокарте типа RTX 3090. При этом потеря точности оказалась минимальной: новый способ квантования позволил сохранить почти половину изначального уровня качества модели.
Эти усовершенствования Gemma 3 оценят разработчики, которые хотят внедрять современные ИИ-технологии, не вкладываясь в дорогое оборудование.
