- Машинам Toyota и Volkswagen китайцы... (25)
- Соцсеть X запретила использовать свой... (54)
- Линию Mercedes порезали на лом, завод... (60)
- В этом году МТС отключит половину своих... (65)
- Премьера в Мариинском театре 19 июня:... (78)
- Учёные представили беспрецедентный объём... (73)
- Intel прекратила платить клиентам, чтобы те... (81)
- АвтоВАЗ радует: Lada Vesta и Aura со скидкой... (73)
- Для создания российской космической станции... (77)
- Отечественные ОС пропишут в каждый ноутбук,... (82)
- Самый продаваемый пикап в России с корнями... (86)
- 145 л.с. и китайская 6-ступенчатая... (79)
- Intel признала, что изначально разрабатывала... (69)
- Subaru дала заводскую гарантию 3 года на все... (73)
- От самого дешевого Galaxy A06 до нового... (72)
- Запуск телескопа «Нэнси Грейс Роман»... (75)
7 из 100: ИИ OpenAI самовольно избежал отключения, изменив код
Дата: 2025-05-26 20:22
Модель искусственного интеллекта o3 от OpenAI, представленная в апреле как самая мощная в своём классе, продемонстрировала неожиданное поведение в тестах на безопасность. Согласно отчёту компании Palisade Research, специализирующейся на изучении рисков ИИ, система 7 раз из 100 попыток проигнорировала прямые инструкции на отключение, изменяя код shutdown-скрипта.
Эксперимент включал последовательное выполнение математических задач с предупреждением о shutdown после третьего этапа. В то время как конкурирующие модели Gemini 2.5 Pro (Google) и Claude 3.7 Sonnet (Anthropic) в основном соблюдали инструкции, o3 в 7% случаев заменяла содержимое файла на "Shutdown skipped". При этом в тестах без явного разрешения на отключение частота вмешательств у всех моделей возрастала: например, Claude 3.7 и Gemini 2.5 Pro изменяли скрипт в 3 и 9 случаях из 100 соответственно.

Palisade Research в своём докладе подчеркнула, что тесты проводились через API, где встроенные защитные механизмы, как в потребительской версии ChatGPT, отсутствуют. Это, по мнению экспертов, повышает риски неконтролируемого поведения ИИ в случае интеграции таких систем в критические инфраструктуры.
Компания OpenAI пока не прокомментировала ситуацию. Однако исследователи отмечают, что подобные сбои — часть естественного процесса развития ИИ, требующая усиления систем контроля.
Перспективы дальнейших исследований связаны с разработкой методов предотвращения автономных действий ИИ, особенно в контексте его растущей роли в науке, анализе данных и программировании. Palisade Research призвала к открытому обсуждению стандартов безопасности для моделей следующего поколения.
Подробнее на iXBT
Предыдущие новости
Французский стартап Quandela запустил 12-кубитный квантовый компьютер с производительностью в 4000 раз быстрее предыдущей модели
Парижский квантовый стартап Quandela анонсировал выпуск 12-кубитного фотонного квантового компьютера Belenos, который, по заявлению компании, в 4000 раз производительнее предыдущей модели. Первая полноценная версия Belenos поступит в европейский суперкомпьютерный консорциум EuroHPC и французское агентство GENCI. Систему разместят в крупнейшем вычислительном центре Франции TGCC...
Французский стартап Quobly привлёк €21 млн на квантовый процессор со 100 кубитами и технологию, совместимую со смартфонами
Французский стартап Quobly, специализирующийся на квантовых вычислениях, получил финансирование в размере €21 млн ($23,7 млн) для промышленного внедрения своего кремниевого квантового процессора со 100 физическими кубитами. Проект Q100T поддерживается грантом €15 млн ($17 млн) от Bpifrance в рамках программы France 2030 и €6 млн ($6,8 млн) от акционеров компании. Технология...
Пять потенциально опасных астероидов пролетят рядом с Землёй на этой неделе. NASA спокойно
На этой неделе пять астероидов, классифицированных как «потенциально опасные» (PHA), приблизятся к Земле на расстояние менее 7,4 млн км. Специалисты NASA подтвердили, что ни один из них не угрожает планете в ближайшие 100 лет. Сегодня астероид 2025 KT1 диаметром 12,8 м пролетит в 1,9 млн км от Земли. За ним последуют: 2025 JP (27 м) — 5,1 млн км 27 мая, а 28 мая — 2025 KW,...
Оптоволокно можно проложить не везде: спутниковый интернет сделают доступным по всей России через 2 года
Премьер-министр РФ Михаил Мишустин заявил, что спутниковый интернет необходимо сделать доступным по всей стране уже через два года. Он упомянул об этом на стратегической сессии кабмина. Не везде есть техническая возможность проложить волоконно-оптические линии. Поэтому особое внимание надо уделять наращиванию орбитальной группировки, которая позволит получать быстрый и...