Учёные давно надеются полностью замкнуть цикл, создав ИИ-агентов, которые рекурсивно улучшают себя. Новое исследование демонстрирует впечатляющий пример такой системы.

«Это хорошая работа», — сказал Юрген Шмидхубер, учёный-компьютерщик из Университета науки и технологий имени короля Абдуллы (KAUST) в Саудовской Аравии, не принимавший участия в новом исследовании. «Я думаю, для многих людей результаты являются неожиданными. Поскольку я работаю над этой темой уже почти 40 лет, для меня это, возможно, немного менее удивительно».

В 2003 году Шмидхубер создал решатели задач, которые переписывали свой собственный код только в том случае, если они могли формально доказать полезность обновлений. Он назвал их машинами Гёделя, в честь Курта Гёделя, математика, работавшего над самоссылающимися системами. Но для сложных агентов доказуемая полезность достигается нелегко.

Новые системы, описанные в недавнем исследовании, полагаются на эмпирические доказательства. В знак уважения к Шмидхуберу они называются машинами Дарвина-Гёделя (ДГМ). ДГМ начинается с кодирующего агента, который может читать, писать и выполнять код, используя LLM для чтения и записи. Затем он применяет эволюционный алгоритм для создания множества новых агентов. На каждой итерации ДГМ выбирает одного агента из популяции и поручает LLM создать одно изменение для улучшения способности агента к написанию кода. LLM обладают чем-то вроде интуиции о том, что может помочь, потому что они обучаются на большом количестве кода, написанного человеком. В результате получается управляемая эволюция, что-то среднее между случайной мутацией и доказуемо полезным улучшением. Затем ДГМ тестирует нового агента на эталонном коде, оценивая его способность решать задачи программирования.

Некоторые эволюционные алгоритмы сохраняют только лучших исполнителей в популяции, исходя из предположения, что прогресс движется бесконечно вперёд. ДГМ, однако, сохраняют всех, на случай, если инновация, которая изначально потерпела неудачу, на самом деле станет ключом к прорыву позже, после дальнейшей доработки. Это форма «открытого исследования», не закрывающего путей к прогрессу (ДГМ всё же отдают приоритет агентам с более высокими баллами при выборе предков).

Учёные запустили ДГМ на 80 итераций, используя эталонный код SWE-bench, и на 80 итераций, используя эталонный код Polyglot. Баллы агентов улучшились на SWE-bench с 20% до 50%, а на Polyglot — с 14% до 31%.

«Мы были действительно очень удивлены, что агент мог сам написать такой сложный код», — сказала Дженни Чжан, учёный из Университета Британской Колумбии и ведущий автор статьи. «Он мог редактировать несколько файлов, создавать новые файлы и создавать действительно сложные системы». Важно, что ДГМ превзошли альтернативный метод, который использовал внешнюю систему для улучшения агентов. С ДГМ улучшения агентов накапливались по мере того, как они улучшали себя в улучшении себя. ДГМ также превзошли версию, которая не поддерживала популяцию агентов и просто модифицировала последнего агента. Лучший агент SWE-bench был не так хорош, как лучший агент, разработанный людьми, который набрал около 70%, но он был сгенерирован автоматически, и, возможно, с достаточным временем и вычислительными мощностями агент сможет превзойти человеческую экспертизу.

Агенты могут стать неинтерпретируемыми или перестать следовать указаниям человека. Поэтому Чжан и её коллеги добавили ограждения. Они держали ДГМ в песочницах без доступа к Интернету или операционной системе и регистрировали и проверяли все изменения кода. Они предполагают, что в будущем продолжат исследование с вознаграждением агентов за то, что они делают себя более интерпретируемыми и согласованными.