- Ностальгический вертолётный шутер Cleared... (1185)
- Как умирал Марс, показали новые находки... (7275)
- «Сферум» перезапустил интерактивную доску... (956)
- Наконец-то у Dacia появился крупный... (8378)
- MediaTek представила Dimensity 9400 — самый... (1044)
- Эффективные роботы-пылесосы ECOVACS N20 PRO... (1007)
- Российские астрономы обнаружили «антисбои» в... (1004)
- В Москве предлагают заказать Ferrari... (1010)
- Роскачество обнаружило уязвимости в... (1070)
- Власти США могут разорвать Google на части —... (1479)
- Власти США могут разорвать Google на части —... (724)
- Власти США могут разорвать Google на части —... (1016)
- BYD захватывает мир: компания вышла на рынок... (1122)
- BYD захватыает мир: компания вышла на рынок... (856)
- Nebius, бывшая Yandex, утроит мощность ЦОД в... (842)
- Новое исследование образцов астероида Рюгу... (9075)
Новый алгоритм целочисленного сложения способен снизить энергопотребление ИИ на 95%
Дата: 2024-10-13 21:06
Команда инженеров компании BitEnergy AI, занимающейся технологиями вывода ИИ, сообщила о методе снижения энергопотребления приложений на базе искусственного интеллекта на 95%. Группа опубликовала статью, описывающую их технологию, на сервере препринтов arXiv.
Поскольку ИИ-приложения стали мейнстримом, их использование резко возросло, что привело к заметному росту потребностей в энергии и затрат. Большие лингвистические модели, такие как ChatGPT, требуют большой вычислительной мощности, что, в свою очередь, означает, что для их работы требуется много электроэнергии. Например, ChatGPT теперь требует около 564 МВтч ежедневно, что достаточно для питания 18 000 американских домов. Поскольку наука продолжает развиваться, а такие приложения становятся всё более популярными, критики предположили, что эти приложения могут потреблять около 100 ТВтч ежегодно всего через несколько лет, наравне с операциями по добыче биткоинов.
Источник: DALL-EКоманда BitEnergy AI утверждает, что в рамках новой разработки им удалось найти способ значительно сократить объём вычислений, необходимых для приложений ИИ, не приводя при этом к снижению производительности.
Новая техника является достаточно изящной — вместо использования сложного умножения с плавающей точкой (FPM) метод использует целочисленное сложение. Приложения используют FPM для обработки чрезвычайно больших или малых чисел, что позволяет приложениям выполнять вычисления с их использованием с большой точностью. Это также самая энергоёмкая часть обработки чисел ИИ.
Исследователи называют свой новый метод Linear-Complexity Multiplication — он работает путём аппроксимации FPM с использованием целочисленного сложения. Они утверждают, что тестирование на данный момент показало, что новый подход снижает потребление электроэнергии на 95%.
Единственный недостаток заключается в том, что он требует другого оборудования, чем то, что используется в настоящее время. Но исследовательская группа также отмечает, что новый тип оборудования уже был спроектирован, создан и протестирован. Однако пока что неясно, как такое оборудование будет лицензироваться — в настоящее время на рынке оборудования для искусственного интеллекта доминирует производитель графических процессоров Nvidia. То, как они отреагируют на эту новую технологию, может оказать существенное влияние на темпы внедрения — если заявления компании подтвердятся.
Подробнее на iXBT
Предыдущие новости
Разработан метод снижения загрязнения от водородных двигателей
Учёные из Калифорнийского университета в Риверсайде разработали недорогой метод снижения загрязнения воздуха от двигателей внутреннего сгорания, работающих на водороде. Двигатели внутреннего сгорания, работающие на водороде, являются перспективным решением в борьбе с изменением климата, поскольку они мощные и не выделяют углерода. Однако они выделяют оксиды азота, которые...
SpaceX завершила пятый тестовый полёт Starship — космический корабль приводнился в Индийском океане
Сегодня аэрокосмическая компания SpaceX отправила в пятый тестовый полёт свой космический корабль Starship. Вероятно, миссия будет признана успешной, поскольку поставленные задачи были достигнуты, и корабль успешно приводнился в Индийском океане. Сегодняшний старт примечателен ещё и потому, что SpaceX сумела поймать первую ступень системы Starship. Источник изображений:...
Apple готовит бюджетную гарнитуру Vision по цене около $2000, но без функции EyeSight
Apple планирует сделать гарнитуру Vision более доступной, выпустив бюджетную версию за $2000. Модель будет использовать более дешёвые материалы и менее мощный процессор, но сохранит основные функции. Марк Гурман (Mark Gurman) в своей новостной рассылке Power On сообщает, что Apple планирует выпустить более доступную версию гарнитуры Apple Vision уже в следующем году. По...
Новый алгоритм целочисленного сложения способен энергопотребление ИИ на 95%
Команда инженеров компании BitEnergy AI, занимающейся технологиями вывода ИИ, сообщила о методе снижения энергопотребления приложений на базе искусственного интеллекта на 95%. Группа опубликовала статью, описывающую их технологию, на сервере препринтов arXiv. Поскольку ИИ-приложения стали мейнстримом, их использование резко возросло, что привело к заметному росту потребностей...