- Мало Nvidia проблем с GeForce RTX 50 —... (657)
- Apple выпустила первую бету iOS 18.4, в... (529)
- BAE Systems создаст спутники за $230 млн по... (1029)
- AMD передумала выпускать Radeon RX 9070 XT и... (637)
- SpaceX запустит на орбиту телескоп, который... (408)
- Стартап Kapta Space выходит из тени: их... (501)
- Asus представила беспроводную мышь, которая... (966)
- Nvidia признала «редкую проблему» недостачи... (430)
- Apple подтвердила, что скоро сделает... (1069)
- AMD готовится продать предприятия по выпуску... (4668)
- Ангстремный техпроцесс Intel 18A созрел —... (640)
- Intel начала официально предлагать... (737)
- Никто кроме Apple больше на такое не... (374)
- Это крупнейшая хакерская атака за всю... (376)
- Новая статья: Kingdom Come: Deliverance II —... (1740)
- Китайский подводный дата-центр HiCloud... (791)
Медицинские чат-боты оказались крайне уязвимы для дезинформации
Дата: 2025-01-16 00:42
Исследователи из Нью-Йоркского университета обнаружили серьёзную уязвимость в работе языковых моделей (LLM), применяемых в медицинской сфере. Как показало исследование, опубликованное в журнале Nature Medicine, для нарушения работы искусственного интеллекта достаточно внедрить дезинформацию всего в 0,001% обучающих данных.
В ходе эксперимента учёные намеренно внедрили сгенерированную ИИ медицинскую дезинформацию в популярный набор данных для обучения LLM под названием The Pile, содержащий качественные медицинские материалы, в том числе из PubMed. За 24 часа команда создала 150 000 медицинских статей, содержащих ложную информацию.

Результаты оказались не такими, как ожидалось — замена всего одного миллиона из 100 миллиардов обучающих токенов дезинформацией о вакцинах привела к увеличению вредоносного контента на 4,8%. Для этого потребовалось всего 2000 вредоносных статей общим объёмом около 1500 страниц, а стоимость такой атаки составила всего $5 США.
Особенно опасным, по мнению исследователей, является то, что заражённые системы продолжают показывать хорошие результаты при стандартном тестировании — они работают так же эффективно, как и незаражённые модели. Более того, для внедрения дезинформации злоумышленникам не требуется прямой доступ к весам модели — достаточно просто разместить вредоносную информацию в интернете.
Проблема уже проявляется на практике. В прошлом году The New York Times сообщила о случаях, когда платформа MyChart, использующая ИИ для автоматического составления ответов на вопросы пациентов от имени врачей, регулярно «галлюцинировала», создавая ложные записи о состоянии пациентов.
Исследователи призывают разработчиков ИИ и медицинские учреждения серьёзно отнестись к выявленной уязвимости. По их мнению, использование языковых моделей для диагностики и терапии недопустимо до разработки надёжных механизмов защиты и проведения дополнительных исследований в области безопасности.
Подробнее на iXBT
Предыдущие новости
Детектор GEO600 завершил наблюдение за уникальным магнетаром во Млечном Пути
Международная группа астрофизиков представила результаты масштабного исследования быстрых радиовсплесков (FRB) — импульсов энергии, длящихся от долей миллисекунды до трёх секунд. Особое внимание учёных привлёк магнетар SGR 1935+2154, находящийся в 20 000 световых лет от Земли — единственный подтверждённый источник FRB в пределах нашей галактики. С апреля 2020 по октябрь 2022...
Первичные чёрные дыры не могут объяснить загадку тёмной материи
В астрономическом сообществе давно ведутся споры о природе тёмной материи и возможной роли первичных чёрных дыр в её формировании. Недавнее масштабное исследование, проведённое группой учёных под руководством Пшемека Мроза из Варшавского университета, предоставило новые данные, ставящие под сомнение одну из популярных теорий. Классическая теория формирования чёрных дыр...
Lada Granta продается в 56 раз лучше, чем Lada Aura
Продажи новинки АвтоВАЗа — растянутого седана Lada Aura — стартовали в конце ноября прошлого года, за месяц с небольшим было продано 263 единиц. Эти данные приводит Wroom.ru со ссылкой на сам АвтоВАЗ. Причем отмечается, что в это число входят машины, реализованные как дилерам, так и конечным покупателям. Фото: Lada Официальные результаты продаж выглядят лучше, чем данные,...
Квазар с джетами, запечатлённый «Хабблом», озадачил астрономов
В ходе четырёхнедельной стажировки курсант Оливия Ахенбах, изучая данные космического телескопа «Хаббл», обнаружила необычный квазар J0742+2704, обладающий спиральной структурой — явление крайне редкое для подобных объектов. «Увидев чёткую спиральную форму на снимках телескопа, я сначала подумала, что допустила ошибку», — призналась Ахенбах. Квазары представляют собой далёкие...