- Samsung планирует выпустить 11 миллионов... (388)
- AMD Ryzen 7 9800X3D сможет работать с... (453)
- BYD замахнулась на Li Auto L9 и Aito M9.... (450)
- В день релиза Metaphor: ReFantazio побила... (368)
- TikTok уволил сотни сотрудников —... (408)
- Dasung представила монитор с быстрой... (476)
- 20 лет свободного обмена идеями и кодом:... (457)
- Старый 36-летний КамАЗ-43101 превратили в... (450)
- Бывшие сотрудники ZA/UM основали две разные... (343)
- В России стартуют продажи смартфона Infinix... (403)
- Возможно, это будет лучший игровой... (407)
- С мотором V6, полным приводом и... (450)
- Астрономы обнаружили кандидата в экзолуну —... (389)
- Adata готовит модули памяти DDR5 CUDIMM со... (386)
- Флагманский внедорожник Tank 700 уже... (412)
- VK не привлекая внимания уволила сотни... (403)
Новый алгоритм целочисленного сложения способен снизить энергопотребление ИИ на 95%
Дата: 2024-10-13 21:06
Команда инженеров компании BitEnergy AI, занимающейся технологиями вывода ИИ, сообщила о методе снижения энергопотребления приложений на базе искусственного интеллекта на 95%. Группа опубликовала статью, описывающую их технологию, на сервере препринтов arXiv.
Поскольку ИИ-приложения стали мейнстримом, их использование резко возросло, что привело к заметному росту потребностей в энергии и затрат. Большие лингвистические модели, такие как ChatGPT, требуют большой вычислительной мощности, что, в свою очередь, означает, что для их работы требуется много электроэнергии. Например, ChatGPT теперь требует около 564 МВтч ежедневно, что достаточно для питания 18 000 американских домов. Поскольку наука продолжает развиваться, а такие приложения становятся всё более популярными, критики предположили, что эти приложения могут потреблять около 100 ТВтч ежегодно всего через несколько лет, наравне с операциями по добыче биткоинов.
Источник: DALL-EКоманда BitEnergy AI утверждает, что в рамках новой разработки им удалось найти способ значительно сократить объём вычислений, необходимых для приложений ИИ, не приводя при этом к снижению производительности.
Новая техника является достаточно изящной — вместо использования сложного умножения с плавающей точкой (FPM) метод использует целочисленное сложение. Приложения используют FPM для обработки чрезвычайно больших или малых чисел, что позволяет приложениям выполнять вычисления с их использованием с большой точностью. Это также самая энергоёмкая часть обработки чисел ИИ.
Исследователи называют свой новый метод Linear-Complexity Multiplication — он работает путём аппроксимации FPM с использованием целочисленного сложения. Они утверждают, что тестирование на данный момент показало, что новый подход снижает потребление электроэнергии на 95%.
Единственный недостаток заключается в том, что он требует другого оборудования, чем то, что используется в настоящее время. Но исследовательская группа также отмечает, что новый тип оборудования уже был спроектирован, создан и протестирован. Однако пока что неясно, как такое оборудование будет лицензироваться — в настоящее время на рынке оборудования для искусственного интеллекта доминирует производитель графических процессоров Nvidia. То, как они отреагируют на эту новую технологию, может оказать существенное влияние на темпы внедрения — если заявления компании подтвердятся.
Подробнее на iXBT
Предыдущие новости
Разработан метод снижения загрязнения от водородных двигателей
Учёные из Калифорнийского университета в Риверсайде разработали недорогой метод снижения загрязнения воздуха от двигателей внутреннего сгорания, работающих на водороде. Двигатели внутреннего сгорания, работающие на водороде, являются перспективным решением в борьбе с изменением климата, поскольку они мощные и не выделяют углерода. Однако они выделяют оксиды азота, которые...
SpaceX завершила пятый тестовый полёт Starship — космический корабль приводнился в Индийском океане
Сегодня аэрокосмическая компания SpaceX отправила в пятый тестовый полёт свой космический корабль Starship. Вероятно, миссия будет признана успешной, поскольку поставленные задачи были достигнуты, и корабль успешно приводнился в Индийском океане. Сегодняшний старт примечателен ещё и потому, что SpaceX сумела поймать первую ступень системы Starship. Источник изображений:...
Apple готовит бюджетную гарнитуру Vision по цене около $2000, но без функции EyeSight
Apple планирует сделать гарнитуру Vision более доступной, выпустив бюджетную версию за $2000. Модель будет использовать более дешёвые материалы и менее мощный процессор, но сохранит основные функции. Марк Гурман (Mark Gurman) в своей новостной рассылке Power On сообщает, что Apple планирует выпустить более доступную версию гарнитуры Apple Vision уже в следующем году. По...
Новый алгоритм целочисленного сложения способен энергопотребление ИИ на 95%
Команда инженеров компании BitEnergy AI, занимающейся технологиями вывода ИИ, сообщила о методе снижения энергопотребления приложений на базе искусственного интеллекта на 95%. Группа опубликовала статью, описывающую их технологию, на сервере препринтов arXiv. Поскольку ИИ-приложения стали мейнстримом, их использование резко возросло, что привело к заметному росту потребностей...