Исследователи Microsoft заявили о создании самой масштабной на сегодняшний день однобитной модели искусственного интеллекта. Разработка под названием BitNet b1.58 2B4T с 2 миллиардами параметров, распространяется на условиях открытой лицензии MIT.

Bitnet представляют собой модели, разработанные для работы на «лёгком» оборудовании. В стандартных моделях веса, определяющие внутреннюю структуру модели, часто квантуются для обеспечения эффективной работы на широком спектре устройств. Квантование весов снижает количество битов, необходимых для представления этих весов, что позволяет моделям функционировать на чипах с меньшим объёмом памяти и более высокой скоростью.

Отличительной особенностью Bitnet является квантование весов всего до трёх значений: -1, 0 и 1. Теоретически, это делает их значительно более эффективными с точки зрения использования памяти и вычислительных ресурсов, чем большинство современных моделей.

По утверждению исследователей Microsoft, BitNet b1.58 2B4T является первым bitnet с 2 миллиардами параметров. Модель, обученная на наборе данных в 4 триллиона токенов, что эквивалентно приблизительно 33 миллионам книг, демонстрирует более высокую производительность по сравнению с традиционными моделями сопоставимого размера.

В ходе тестирования BitNet b1.58 2B4T показала себя конкурентоспособной, превзойдя Meta* Llama 3.2 1B, Google Gemma 3 1B и Alibaba Qwen 2.5 1.5B в таких бенчмарках, как GSM8K (коллекция математических задач уровня начальной школы) и PIQA (тест на понимание физических закономерностей). Более того, BitNet b1.58 2B4T продемонстрировала более высокую скорость работы, в некоторых случаях вдвое быстрее, чем другие модели аналогичного размера, при этом используя значительно меньший объём памяти.

Однако, для достижения заявленной производительности требуется использование разработанного Microsoft фреймворка bitnet.cpp, который на данный момент совместим лишь с ограниченным набором аппаратного обеспечения. В списке поддерживаемых чипов отсутствуют графические процессоры (GPU), доминирующие в современной инфраструктуре искусственного интеллекта.

* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена