IBM представила 4 новые компактные модели искусственного интеллекта Granite 4.0 Nano с числом параметров от 350 миллионов до 1,5 миллиардов. Эти модели значительно меньше, чем аналоги крупных игроков рынка, таких как OpenAI, Anthropic или Google, но при этом демонстрируют высокую эффективность и мощность.

Младшие версии с 350 млн параметров могут запускаться на современных ноутбуках с процессорами  8–16 ГБ оперативной памяти, тогда как модели на 1,5 млрд параметров требуют GPU с памятью от 6 до 8 ГБ или достаточное количество памяти для работы на CPU. Это делает Granite 4.0 Nano отличным выбором для разработчиков, ориентированных на локальное вычисление и использование на периферийных устройствах без необходимости в облаке.

Иллюстрация: Sora

Все модели выпускаются под лицензией Apache 2.0 и полностью совместимы с такими платформами, как llama.cpp, vLLM и MLX. Они сертифицированы по стандарту ISO 42001, который контролирует ответственную разработку искусственного интеллекта.

Семейство Granite 4.0 Nano включает две архитектурные линии: гибридные модели Granite-4.0-H-1B и Granite-4.0-H-350M с инновационной гибридной архитектурой State Space Model (SSM), обеспечивающей баланс между производительностью и низкой задержкой, а также традиционные трансформеры Granite-4.0-1B и Granite-4.0-350M для проектов с более широкой совместимостью.

Несмотря на компактные размеры, модели показывают высокие результаты в различных тестах. Granite-4.0-H-1B набрала 78,5 баллов в тесте IFEval на понимание инструкций, обогнав конкурентов аналогичного класса, а Granite-4.0-1B лидирует в тесте BFCLv3 по вызову функций. По безопасности модели также превосходят своих конкурентов, набрав более 90% в тестах SALAD и AttaQ.

Бенчмарки моделей Granite 4.0 Nano. Источник: IBM

IBM делает акцент на доступности, скорости и возможности ведения локальных вычислений. 

Компания активно взаимодействует с сообществом разработчиков, а в ближайших планах — выпуск более масштабной Granite 4.0, моделей с улучшенным «мышлением» и открытых обучающих материалов.

Релиз открывает новые возможности для разработчиков, которым важно сочетание производительности и простоты развёртывания без привязки к облаку, а также прозрачность и контроль над моделями благодаря открытым лицензиям и сертификации.?

Подробнее на iXBT