- Физики обнаружили дробные экситоны —... (383)
- Первая в мире видеокарта, толщину которой... (307)
- Астрономы зафиксировали рекордную... (315)
- Учёные доказали существование нового типа... (2260)
- Огонь в невесомости: новый эксперимент по... (4180)
- Видеокарты Radeon RX 9000 будут более... (261)
- Похоже, Radeon RX 9070 XT будет немного... (292)
- Новый этап в сборке телескопа Nancy Grace... (146)
- Zotac представила карты GeForce RTX 5090,... (111)
- Долго ждать конкурентов для GeForce RTX 50... (166)
- Assassin’s Creed Shadows скрылась от... (138)
- Смартфон-хамелеон Realme 14 Pro+ вышел на... (145)
- Японский стартап ispace готовится покорить... (126)
- DJI представила сверхлёгкие экшен-камеры O4... (98)
- Бывший разработчик GTA III придумал... (102)
- Представлен люксовый Volkswagen Magotan:... (123)
Никому неизвестный стартап Groq представил, видимо, лучший процессор для вывода нейросетевых моделей
Дата: 2024-02-20 13:16
На рынке чипов для ИИ появился новый игрок. Судя по всему, с большим потенциалом. Компания Groq представила свой процессор, который, похоже, ощутимо превосходит конкурентов.
Начать стоит с того, что Groq (процессор называется так же) — это не CPU и не GPU. Это так называемый языковой процессор (LPU). Вторая важная особенность заключается в том, что данный LPU предназначен не для обучения нейросетей, а для вывода. И вот тут он показывает себя великолепно.
Groq LPU — это одноядерный чип, основанный на архитектуре тензорных потоковых процессоров (TSP), который обеспечивает производительность 750 TOPS при INT8 и 188 TFLOPS при FP16 с матричным умножением объединенных скалярных произведений 320x320 в дополнение к 5120 векторным ALU. Судя по данным в Сети, Groq очень сильно обходит других игроков рынка, системы которых опираются на GPU.
При работе с моделью Mixtral 8x7B Groq LPU обеспечивает скорость 480 токенов в секунду, а это один из лучших показателей вывода в отрасли. В модели Llama 2 70B с длиной контекста 4096 токенов Groq может обслуживать 300 токенов в секунду, а в Llama 2 7B с 2048 токенами контекста — 750 токенов/с.
Само собой, как и в случае любого другого нового чипа, сама по себе производительность — это полдела. Нужно, чтобы игроки рынка захотели использовать новый продукт. Но тут перспективы Groq раскроет только время.
Подробнее на iXBT
Предыдущие новости
В Правительстве РФ одобрили закон о рекламе на космической технике
Пресс-служба Роскосмоса сообщила, что 19 февраля на заседании Комиссии Правительства по законопроектной деятельности был одобрен внесённый депутатами и сенаторами проект федерального закона, который позволит госкорпорации активно проводить рекламные кампании. В том числе, можно будет устанавливать наружную рекламу на объектах космической инфраструктуры и размещать рекламу на...
Первый человек с чипом Neuralink в голове научился управлять курсором силой мысли
Прошлый месяц компания Neuralink Илона Маска (Elon Musk) завершила сообщением об удачной имплантации чипа в мозг человека, и к настоящему времени он не только полностью восстановился после операции, но и начал управлять курсором на экране компьютера при помощи электронного импланта. Об этом основатель компании заявил в начале текущей недели. Источник изображения:...
Bethesda анонсировала сборник Fallout S.P.E.C.I.A.L. Anthology для ПК — семь игр серии в миниатюрной ядерной бомбе
Издательство Bethesda Softworks подготовило фанатам Fallout приятный сюрприз в преддверии старта горячо ожидаемого сериала Amazon по мотивам культовой серии постапокалиптических ролевых игр. Источник изображений: Bethesda...
«Ваш iPhone могут повредить мелкие частички риса»: Apple посоветовала не сушить смартфоны народными методами
Многочисленные советчики в интернете уже не первый год рекомендуют помещать случайно упавшие в воду телефоны в рис, который должен вытянуть влагу и помочь избежать поломки. В Apple решили опровергнуть этот миф, и сейчас в разделе техподдержки на официальном сайте производителя появилось соответствующее разъяснение. Источник изображения:...