- Большое обновление Telegram: подарки,... (751)
- Bloomberg: Apple отходит от своей ежегодной... (865)
- «Чёрт возьми, да это искусство!»: новая... (705)
- Яндекс запустил программу trade-in для... (738)
- Завершено выкапывание 800 000 тонн породы... (693)
- Россиянам предложили самую мощную версию BMW... (626)
- Проверять наличие полиса ОСАГО по камерам... (746)
- Долгожданный преемник Jeep Compass предложит... (860)
- Запуск межпланетной станции Europa Clipper... (673)
- Lada Largus за 430 тыс., Hyundai Solaris за... (949)
- Сервисы ВГТРК подверглись «беспрецедентной... (608)
- Целый месяц бастовали, а теперь начали... (663)
- Владельцы новейших флагманов Vivo X200... (506)
- «Стерли всё с серверов, включая резервные... (795)
- Легендарную «Кобру» самого Кэрролла Шелби... (592)
- Четырёхмоторный Mecedes-Benz G-Class... (672)
Новый алгоритм целочисленного сложения способен снизить энергопотребление ИИ на 95%
Дата: 2024-10-13 21:06
Команда инженеров компании BitEnergy AI, занимающейся технологиями вывода ИИ, сообщила о методе снижения энергопотребления приложений на базе искусственного интеллекта на 95%. Группа опубликовала статью, описывающую их технологию, на сервере препринтов arXiv.
Поскольку ИИ-приложения стали мейнстримом, их использование резко возросло, что привело к заметному росту потребностей в энергии и затрат. Большие лингвистические модели, такие как ChatGPT, требуют большой вычислительной мощности, что, в свою очередь, означает, что для их работы требуется много электроэнергии. Например, ChatGPT теперь требует около 564 МВтч ежедневно, что достаточно для питания 18 000 американских домов. Поскольку наука продолжает развиваться, а такие приложения становятся всё более популярными, критики предположили, что эти приложения могут потреблять около 100 ТВтч ежегодно всего через несколько лет, наравне с операциями по добыче биткоинов.
Источник: DALL-EКоманда BitEnergy AI утверждает, что в рамках новой разработки им удалось найти способ значительно сократить объём вычислений, необходимых для приложений ИИ, не приводя при этом к снижению производительности.
Новая техника является достаточно изящной — вместо использования сложного умножения с плавающей точкой (FPM) метод использует целочисленное сложение. Приложения используют FPM для обработки чрезвычайно больших или малых чисел, что позволяет приложениям выполнять вычисления с их использованием с большой точностью. Это также самая энергоёмкая часть обработки чисел ИИ.
Исследователи называют свой новый метод Linear-Complexity Multiplication — он работает путём аппроксимации FPM с использованием целочисленного сложения. Они утверждают, что тестирование на данный момент показало, что новый подход снижает потребление электроэнергии на 95%.
Единственный недостаток заключается в том, что он требует другого оборудования, чем то, что используется в настоящее время. Но исследовательская группа также отмечает, что новый тип оборудования уже был спроектирован, создан и протестирован. Однако пока что неясно, как такое оборудование будет лицензироваться — в настоящее время на рынке оборудования для искусственного интеллекта доминирует производитель графических процессоров Nvidia. То, как они отреагируют на эту новую технологию, может оказать существенное влияние на темпы внедрения — если заявления компании подтвердятся.
Подробнее на iXBT
Предыдущие новости
Разработан метод снижения загрязнения от водородных двигателей
Учёные из Калифорнийского университета в Риверсайде разработали недорогой метод снижения загрязнения воздуха от двигателей внутреннего сгорания, работающих на водороде. Двигатели внутреннего сгорания, работающие на водороде, являются перспективным решением в борьбе с изменением климата, поскольку они мощные и не выделяют углерода. Однако они выделяют оксиды азота, которые...
SpaceX завершила пятый тестовый полёт Starship — космический корабль приводнился в Индийском океане
Сегодня аэрокосмическая компания SpaceX отправила в пятый тестовый полёт свой космический корабль Starship. Вероятно, миссия будет признана успешной, поскольку поставленные задачи были достигнуты, и корабль успешно приводнился в Индийском океане. Сегодняшний старт примечателен ещё и потому, что SpaceX сумела поймать первую ступень системы Starship. Источник изображений:...
Apple готовит бюджетную гарнитуру Vision по цене около $2000, но без функции EyeSight
Apple планирует сделать гарнитуру Vision более доступной, выпустив бюджетную версию за $2000. Модель будет использовать более дешёвые материалы и менее мощный процессор, но сохранит основные функции. Марк Гурман (Mark Gurman) в своей новостной рассылке Power On сообщает, что Apple планирует выпустить более доступную версию гарнитуры Apple Vision уже в следующем году. По...
Новый алгоритм целочисленного сложения способен энергопотребление ИИ на 95%
Команда инженеров компании BitEnergy AI, занимающейся технологиями вывода ИИ, сообщила о методе снижения энергопотребления приложений на базе искусственного интеллекта на 95%. Группа опубликовала статью, описывающую их технологию, на сервере препринтов arXiv. Поскольку ИИ-приложения стали мейнстримом, их использование резко возросло, что привело к заметному росту потребностей...