- «Положит конец Cities: Skylines»: игроков... (2331)
- Президент Microsoft намекнул на создание... (2708)
- Человекоподобные роботы Boston Dynamics... (2544)
- Intel научилась изготавливать самые тонкие в... (2222)
- Злоумышленники спрятали вирус для кражи... (2595)
- Фишинг нового уровня: Microsoft предупредила... (2580)
- «Роскосмос» впервые одобрил проект частной... (2634)
- В Госдуме объяснили, почему Steam не грозит... (2023)
- Российская электроника может подорожать на... (2281)
- Apple начала продавать запчасти для MacBook... (2213)
- Excel ошибочно считает 1900 год високосным —... (2255)
- NASA и «Роскосмос» продлят работу старейшего... (2297)
- Gemini стал умнее: Google добавила... (2202)
- Microsoft раскрыла кампанию по взлому... (2037)
- Хакеры взломали китайский суперкомпьютер и... (2543)
- «Союзмультфильм» начнёт применять ИИ при... (2329)
Microsoft создала мощный «однобитный» ИИ BitNet, превосходящий конкурентов и работающий на CPU
Дата: 2025-04-17 22:15
Исследователи Microsoft заявили о создании самой масштабной на сегодняшний день однобитной модели искусственного интеллекта. Разработка под названием BitNet b1.58 2B4T с 2 миллиардами параметров, распространяется на условиях открытой лицензии MIT.
Bitnet представляют собой модели, разработанные для работы на «лёгком» оборудовании. В стандартных моделях веса, определяющие внутреннюю структуру модели, часто квантуются для обеспечения эффективной работы на широком спектре устройств. Квантование весов снижает количество битов, необходимых для представления этих весов, что позволяет моделям функционировать на чипах с меньшим объёмом памяти и более высокой скоростью.
Источник: Chona Kasinger / Bloomberg Отличительной особенностью Bitnet является квантование весов всего до трёх значений: -1, 0 и 1. Теоретически, это делает их значительно более эффективными с точки зрения использования памяти и вычислительных ресурсов, чем большинство современных моделей.
По утверждению исследователей Microsoft, BitNet b1.58 2B4T является первым bitnet с 2 миллиардами параметров. Модель, обученная на наборе данных в 4 триллиона токенов, что эквивалентно приблизительно 33 миллионам книг, демонстрирует более высокую производительность по сравнению с традиционными моделями сопоставимого размера.
В ходе тестирования BitNet b1.58 2B4T показала себя конкурентоспособной, превзойдя Meta* Llama 3.2 1B, Google Gemma 3 1B и Alibaba Qwen 2.5 1.5B в таких бенчмарках, как GSM8K (коллекция математических задач уровня начальной школы) и PIQA (тест на понимание физических закономерностей). Более того, BitNet b1.58 2B4T продемонстрировала более высокую скорость работы, в некоторых случаях вдвое быстрее, чем другие модели аналогичного размера, при этом используя значительно меньший объём памяти.
Однако, для достижения заявленной производительности требуется использование разработанного Microsoft фреймворка bitnet.cpp, который на данный момент совместим лишь с ограниченным набором аппаратного обеспечения. В списке поддерживаемых чипов отсутствуют графические процессоры (GPU), доминирующие в современной инфраструктуре искусственного интеллекта.
* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена
Подробнее на iXBT
Предыдущие новости
SpaceX Маска ближе всех к контракту на «Золотой купол» — противоракетный щит Трампа по подписке
Группа компаний во главе со SpaceX Илона Маска стала ключевым претендентом на участие в проекте противоракетной обороны «Золотой купол», инициированном администрацией Дональда Трампа. По данным источников Reuters, консорциум, включающий стартапы Anduril и Palantir, предлагает развернуть до 1000 спутников для обнаружения ракетных угроз и внедрить «подписочную модель»...
Дешевая альтернатива GeForce RTX 5060 Ti, он же «Великий Radeon»: раскрыты характеристики ускорителя Radeon RX 9070 GRE
Готовящаяся к выходу Radeon RX 9070 GRE займет положение между Radeon RX 9070 и будущей Radeon RX 960 XT. По данным ресурса Videocardz, новинка будет построена на GPU Navi 48 (как у Radeon RX 9070 XT и Radeon RX 9070), но примерно четверть потоковых процессоров от общего количества потоковых процессоров будет заблокирована: то есть можно рассчитывать на 3072 потоковых...
Тревожный звонок в OpenAI: Хоакин Киньонеро Кандела, глава отдела безопасности, покинул пост
Хоакин Киньонеро Кандела (Joaquin Quiñonero Candela), возглавлявший команду OpenAI Preparedness по предотвращению катастрофических рисков ИИ, покинул пост несколько недель назад, перейдя на роль стажёра в подразделении, отвечающем за применение ИИ в здравоохранении. В своём LinkedIn Кандела написал: «Я стажёр! Спустя 11 лет после последнего кода я вернулся к разработке». В...
С базы Ванденберг состоялась первая за 10 лет миссия ракеты Minotaur IV на базе списанных баллистических ракет
16 апреля с базы космических сил Ванденберг состоялся успешный запуск ракеты Northrop Grumman Minotaur IV, доставившей на орбиту несколько засекреченных грузов для Национального разведывательного управления (NRO) США. Этот старт ознаменовал собой возвращение твердотопливной ракеты-носителя на площадку Ванденберг после более чем десятилетнего перерыва. Миссия, получившая...