- В России стартовали предзаказы на HONOR... (920)
- Японцы переделывают Toyota Hiace в стиле... (880)
- Флагманский смартфон Samsung Galaxy S25... (1131)
- Замена Lexus RX и первый Exeed в России с... (1055)
- Lada и Niva потягаются с Mitsubishi Attrage... (870)
- Volkswagen Polo, Toyota Camry, Toyota RAV4,... (1210)
- Одно зарядное устройство для ноутбуков,... (1188)
- Ford наращивает производство самых доступных... (1151)
- Китайская YMTC совершила очередной... (1222)
- Наделавший много шума DeepSeek подвергся... (889)
- «Момент спутника для ИИ». DeepSeek подвергся... (1018)
- Японская Rapidus намерена установить до 10... (911)
- Самый мрачный день для Nvidia и крупнейший... (1094)
- SpaceX построила вторую Mechazilla для... (1108)
- Спутниковый интернет Starlink на... (963)
- «Это меняет правила игры». Спутниковый... (902)
Никому неизвестный стартап Groq представил, видимо, лучший процессор для вывода нейросетевых моделей
Дата: 2024-02-20 13:16
На рынке чипов для ИИ появился новый игрок. Судя по всему, с большим потенциалом. Компания Groq представила свой процессор, который, похоже, ощутимо превосходит конкурентов.
![](https://www.ixbt.com/img//x780/n1/news/2024/1/2/GIM002T0uFg0Zi35_large.jpg)
Начать стоит с того, что Groq (процессор называется так же) — это не CPU и не GPU. Это так называемый языковой процессор (LPU). Вторая важная особенность заключается в том, что данный LPU предназначен не для обучения нейросетей, а для вывода. И вот тут он показывает себя великолепно.
![](https://www.ixbt.com/img//x780/n1/news/2024/1/2/O57cd3j3dfZFWVrd_large.jpg)
Groq LPU — это одноядерный чип, основанный на архитектуре тензорных потоковых процессоров (TSP), который обеспечивает производительность 750 TOPS при INT8 и 188 TFLOPS при FP16 с матричным умножением объединенных скалярных произведений 320x320 в дополнение к 5120 векторным ALU. Судя по данным в Сети, Groq очень сильно обходит других игроков рынка, системы которых опираются на GPU.
![](https://www.ixbt.com/img//x780/n1/news/2024/1/2/ipaNs8yp3hzZHnQb_large.jpg)
При работе с моделью Mixtral 8x7B Groq LPU обеспечивает скорость 480 токенов в секунду, а это один из лучших показателей вывода в отрасли. В модели Llama 2 70B с длиной контекста 4096 токенов Groq может обслуживать 300 токенов в секунду, а в Llama 2 7B с 2048 токенами контекста — 750 токенов/с.
Само собой, как и в случае любого другого нового чипа, сама по себе производительность — это полдела. Нужно, чтобы игроки рынка захотели использовать новый продукт. Но тут перспективы Groq раскроет только время.
Подробнее на iXBT
Предыдущие новости
В Правительстве РФ одобрили закон о рекламе на космической технике
Пресс-служба Роскосмоса сообщила, что 19 февраля на заседании Комиссии Правительства по законопроектной деятельности был одобрен внесённый депутатами и сенаторами проект федерального закона, который позволит госкорпорации активно проводить рекламные кампании. В том числе, можно будет устанавливать наружную рекламу на объектах космической инфраструктуры и размещать рекламу на...
Первый человек с чипом Neuralink в голове научился управлять курсором силой мысли
Прошлый месяц компания Neuralink Илона Маска (Elon Musk) завершила сообщением об удачной имплантации чипа в мозг человека, и к настоящему времени он не только полностью восстановился после операции, но и начал управлять курсором на экране компьютера при помощи электронного импланта. Об этом основатель компании заявил в начале текущей недели. Источник изображения:...
Bethesda анонсировала сборник Fallout S.P.E.C.I.A.L. Anthology для ПК — семь игр серии в миниатюрной ядерной бомбе
Издательство Bethesda Softworks подготовило фанатам Fallout приятный сюрприз в преддверии старта горячо ожидаемого сериала Amazon по мотивам культовой серии постапокалиптических ролевых игр. Источник изображений: Bethesda...
«Ваш iPhone могут повредить мелкие частички риса»: Apple посоветовала не сушить смартфоны народными методами
Многочисленные советчики в интернете уже не первый год рекомендуют помещать случайно упавшие в воду телефоны в рис, который должен вытянуть влагу и помочь избежать поломки. В Apple решили опровергнуть этот миф, и сейчас в разделе техподдержки на официальном сайте производителя появилось соответствующее разъяснение. Источник изображения:...