- Индия и США договорились об укреплении... (733)
- Представлен McLaren W1 — настоящий монстр... (643)
- Абсолютно новый Changan CS75 Plus получит... (679)
- Замена YouTube? Telegram предложил всем... (739)
- Android-смартфоны получили «противоугонные»... (459)
- Пользователи iPhone 16 получат доступ к... (617)
- У Apple iMac с чипами M1 начали массово... (498)
- Упаковку Oppo Find X8 показали перед анонсом... (566)
- Представлен премиальный холодильник Xiaomi... (541)
- Таких Range Rover выпустили всего дюжину.... (524)
- Запас хода 1400 км, расход 1 л/100 км и... (544)
- Новую версию внедорожника BYD Leopard 5,... (469)
- Космический корабль Europa Clipper... (626)
- 60-летний Киану Ривз вылетел с трассы в... (585)
- Низкая цена и высокая безопасность. Даже... (542)
- Toyota Camry опередила BMW X5, Toyota Land... (557)
Новый алгоритм целочисленного сложения способен снизить энергопотребление ИИ на 95%
Дата: 2024-10-13 21:06
Команда инженеров компании BitEnergy AI, занимающейся технологиями вывода ИИ, сообщила о методе снижения энергопотребления приложений на базе искусственного интеллекта на 95%. Группа опубликовала статью, описывающую их технологию, на сервере препринтов arXiv.
Поскольку ИИ-приложения стали мейнстримом, их использование резко возросло, что привело к заметному росту потребностей в энергии и затрат. Большие лингвистические модели, такие как ChatGPT, требуют большой вычислительной мощности, что, в свою очередь, означает, что для их работы требуется много электроэнергии. Например, ChatGPT теперь требует около 564 МВтч ежедневно, что достаточно для питания 18 000 американских домов. Поскольку наука продолжает развиваться, а такие приложения становятся всё более популярными, критики предположили, что эти приложения могут потреблять около 100 ТВтч ежегодно всего через несколько лет, наравне с операциями по добыче биткоинов.
Источник: DALL-EКоманда BitEnergy AI утверждает, что в рамках новой разработки им удалось найти способ значительно сократить объём вычислений, необходимых для приложений ИИ, не приводя при этом к снижению производительности.
Новая техника является достаточно изящной — вместо использования сложного умножения с плавающей точкой (FPM) метод использует целочисленное сложение. Приложения используют FPM для обработки чрезвычайно больших или малых чисел, что позволяет приложениям выполнять вычисления с их использованием с большой точностью. Это также самая энергоёмкая часть обработки чисел ИИ.
Исследователи называют свой новый метод Linear-Complexity Multiplication — он работает путём аппроксимации FPM с использованием целочисленного сложения. Они утверждают, что тестирование на данный момент показало, что новый подход снижает потребление электроэнергии на 95%.
Единственный недостаток заключается в том, что он требует другого оборудования, чем то, что используется в настоящее время. Но исследовательская группа также отмечает, что новый тип оборудования уже был спроектирован, создан и протестирован. Однако пока что неясно, как такое оборудование будет лицензироваться — в настоящее время на рынке оборудования для искусственного интеллекта доминирует производитель графических процессоров Nvidia. То, как они отреагируют на эту новую технологию, может оказать существенное влияние на темпы внедрения — если заявления компании подтвердятся.
Подробнее на iXBT
Предыдущие новости
Разработан метод снижения загрязнения от водородных двигателей
Учёные из Калифорнийского университета в Риверсайде разработали недорогой метод снижения загрязнения воздуха от двигателей внутреннего сгорания, работающих на водороде. Двигатели внутреннего сгорания, работающие на водороде, являются перспективным решением в борьбе с изменением климата, поскольку они мощные и не выделяют углерода. Однако они выделяют оксиды азота, которые...
SpaceX завершила пятый тестовый полёт Starship — космический корабль приводнился в Индийском океане
Сегодня аэрокосмическая компания SpaceX отправила в пятый тестовый полёт свой космический корабль Starship. Вероятно, миссия будет признана успешной, поскольку поставленные задачи были достигнуты, и корабль успешно приводнился в Индийском океане. Сегодняшний старт примечателен ещё и потому, что SpaceX сумела поймать первую ступень системы Starship. Источник изображений:...
Apple готовит бюджетную гарнитуру Vision по цене около $2000, но без функции EyeSight
Apple планирует сделать гарнитуру Vision более доступной, выпустив бюджетную версию за $2000. Модель будет использовать более дешёвые материалы и менее мощный процессор, но сохранит основные функции. Марк Гурман (Mark Gurman) в своей новостной рассылке Power On сообщает, что Apple планирует выпустить более доступную версию гарнитуры Apple Vision уже в следующем году. По...
Новый алгоритм целочисленного сложения способен энергопотребление ИИ на 95%
Команда инженеров компании BitEnergy AI, занимающейся технологиями вывода ИИ, сообщила о методе снижения энергопотребления приложений на базе искусственного интеллекта на 95%. Группа опубликовала статью, описывающую их технологию, на сервере препринтов arXiv. Поскольку ИИ-приложения стали мейнстримом, их использование резко возросло, что привело к заметному росту потребностей...