- Мощная вспышка на Солнце едва разминулась с... (641)
- «Авито Авто» запустил раздел для поиска... (795)
- Inflection AI и Intel представили ИИ-систему... (537)
- ИИ-ассистент GigaCode Сбера теперь можно... (577)
- Так выглядит российский мотоцикл Aurus... (698)
- Представлен Toyota Hilux Hybrid... (480)
- «Плеер.ру» превратится из магазина в... (670)
- Кредиторы скандальной криптобиржи FTX вернут... (553)
- Чудо перерождения: игрок первым в истории... (599)
- 11 дюймов, 4 динамика, скидки и подарки:... (782)
- Всё внимание на небо: 8 октября можно... (588)
- Впервые в России: Яндекс на практике... (809)
- Китайцы разработали «дышащий» аккумулятор... (833)
- Первый миллион автомобилей Li Auto: на это... (598)
- Владельцы iPhone по-прежнему смотрят свысока... (561)
- Росстандарт утвердил в качестве ГОСТа... (656)
Новый алгоритм целочисленного сложения способен снизить энергопотребление ИИ на 95%
Дата: 2024-10-13 21:06
Команда инженеров компании BitEnergy AI, занимающейся технологиями вывода ИИ, сообщила о методе снижения энергопотребления приложений на базе искусственного интеллекта на 95%. Группа опубликовала статью, описывающую их технологию, на сервере препринтов arXiv.
Поскольку ИИ-приложения стали мейнстримом, их использование резко возросло, что привело к заметному росту потребностей в энергии и затрат. Большие лингвистические модели, такие как ChatGPT, требуют большой вычислительной мощности, что, в свою очередь, означает, что для их работы требуется много электроэнергии. Например, ChatGPT теперь требует около 564 МВтч ежедневно, что достаточно для питания 18 000 американских домов. Поскольку наука продолжает развиваться, а такие приложения становятся всё более популярными, критики предположили, что эти приложения могут потреблять около 100 ТВтч ежегодно всего через несколько лет, наравне с операциями по добыче биткоинов.
Источник: DALL-EКоманда BitEnergy AI утверждает, что в рамках новой разработки им удалось найти способ значительно сократить объём вычислений, необходимых для приложений ИИ, не приводя при этом к снижению производительности.
Новая техника является достаточно изящной — вместо использования сложного умножения с плавающей точкой (FPM) метод использует целочисленное сложение. Приложения используют FPM для обработки чрезвычайно больших или малых чисел, что позволяет приложениям выполнять вычисления с их использованием с большой точностью. Это также самая энергоёмкая часть обработки чисел ИИ.
Исследователи называют свой новый метод Linear-Complexity Multiplication — он работает путём аппроксимации FPM с использованием целочисленного сложения. Они утверждают, что тестирование на данный момент показало, что новый подход снижает потребление электроэнергии на 95%.
Единственный недостаток заключается в том, что он требует другого оборудования, чем то, что используется в настоящее время. Но исследовательская группа также отмечает, что новый тип оборудования уже был спроектирован, создан и протестирован. Однако пока что неясно, как такое оборудование будет лицензироваться — в настоящее время на рынке оборудования для искусственного интеллекта доминирует производитель графических процессоров Nvidia. То, как они отреагируют на эту новую технологию, может оказать существенное влияние на темпы внедрения — если заявления компании подтвердятся.
Подробнее на iXBT
Предыдущие новости
Разработан метод снижения загрязнения от водородных двигателей
Учёные из Калифорнийского университета в Риверсайде разработали недорогой метод снижения загрязнения воздуха от двигателей внутреннего сгорания, работающих на водороде. Двигатели внутреннего сгорания, работающие на водороде, являются перспективным решением в борьбе с изменением климата, поскольку они мощные и не выделяют углерода. Однако они выделяют оксиды азота, которые...
SpaceX завершила пятый тестовый полёт Starship — космический корабль приводнился в Индийском океане
Сегодня аэрокосмическая компания SpaceX отправила в пятый тестовый полёт свой космический корабль Starship. Вероятно, миссия будет признана успешной, поскольку поставленные задачи были достигнуты, и корабль успешно приводнился в Индийском океане. Сегодняшний старт примечателен ещё и потому, что SpaceX сумела поймать первую ступень системы Starship. Источник изображений:...
Apple готовит бюджетную гарнитуру Vision по цене около $2000, но без функции EyeSight
Apple планирует сделать гарнитуру Vision более доступной, выпустив бюджетную версию за $2000. Модель будет использовать более дешёвые материалы и менее мощный процессор, но сохранит основные функции. Марк Гурман (Mark Gurman) в своей новостной рассылке Power On сообщает, что Apple планирует выпустить более доступную версию гарнитуры Apple Vision уже в следующем году. По...
Новый алгоритм целочисленного сложения способен энергопотребление ИИ на 95%
Команда инженеров компании BitEnergy AI, занимающейся технологиями вывода ИИ, сообщила о методе снижения энергопотребления приложений на базе искусственного интеллекта на 95%. Группа опубликовала статью, описывающую их технологию, на сервере препринтов arXiv. Поскольку ИИ-приложения стали мейнстримом, их использование резко возросло, что привело к заметному росту потребностей...