OpenAI обновила свою «Систему готовности» — внутренний механизм, используемый для оценки безопасности разрабатываемых ИИ-моделей и определения необходимых мер предосторожности на этапах создания и развёртывания. В обновлённой версии компания заявила о возможности «корректировки» собственных требований к безопасности в том случае, если конкурирующая лаборатория выпустит на рынок «высокорискованную» систему без аналогичных защитных мер.

Прежде OpenAI уже подвергалась критике за возможное снижение стандартов безопасности ради ускорения релизов и за задержки с публикацией отчётов о тестировании безопасности. Примечательно, что на прошлой неделе 12 бывших сотрудников OpenAI подали документ в рамках судебного процесса Илона Маска против компании, утверждая, что запланированная корпоративная реструктуризация может стимулировать компанию к ещё большей экономии на мерах безопасности.

В преддверии возможной критики, OpenAI утверждает, что не станет легкомысленно относиться к подобным корректировкам политики и постарается сохранить защитные меры на «более высоком уровне». «Если другой передовой разработчик ИИ выпустит высокорискованную систему без сопоставимых мер защиты, то мы можем скорректировать наши требования», — говорится в сообщении OpenAI в блоге. «Однако, прежде чем пойти на такой шаг, мы тщательно убедимся, что ландшафт рисков действительно изменился, публично признаем, что вносим корректировку, оценим, что эта корректировка не приведёт к существенному увеличению общего риска серьёзного вреда, и при этом сохраним защитные меры на более высоком уровне».

Компания заявляет, что, не отказываясь полностью от тестирования под руководством человека, она создала «растущий набор автоматизированных оценок», которые, предположительно, способны «успевать за более быстрым темпом релизов». При этом, по некоторым данным, ситуация выглядит несколько иначе. Так, Financial Times сообщает, что на проверку безопасности готовящейся к выпуску крупной модели OpenAI выделила тестировщикам менее недели — крайне сжатый срок по сравнению с предыдущими релизами. Источники издания также утверждают, что многие тесты безопасности OpenAI теперь проводятся на более ранних версиях моделей, а не на тех версиях, которые выпускаются для широкой публики. В своих заявлениях OpenAI опровергает утверждения о том, что идёт на компромисс с безопасностью.

Среди прочих изменений в «Системе готовности» OpenAI, которые остались за кадром публичного обсуждения, примечателен отказ от обязательного тестирования безопасности моделей, подвергшихся тонкой настройке, что было отмечено в публикации Стивена Адлера в социальной сети X (ранее Twitter). Другие изменения в системе касаются категоризации моделей по уровню риска, включая модели, способные скрывать свои возможности, обходить защитные меры, препятствовать своему отключению и даже самовоспроизводиться. OpenAI заявляет, что теперь будет фокусироваться на том, достигают ли модели одного из двух пороговых значений: «высокой» или «критической» способности.

Согласно определению OpenAI, «высокая» способность — это способность модели «усиливать существующие пути нанесения серьёзного вреда». «Критическая» способность относится к моделям, которые «открывают беспрецедентные новые пути нанесения серьёзного вреда». «Системы, которые достигают высокой способности, должны иметь защитные меры, которые в достаточной степени минимизируют связанный с этим риск серьёзного вреда до их развертывания», — пишет OpenAI в блоге. Обновления «Системы готовности» стали первыми с 2023 года.