Стремительное распространение искусственного интеллекта (ИИ) во всех сферах жизни, от медицины до религии, вызывает всё больше вопросов о принципах его работы. Даже эксперты в области ИИ признают, что внутренние процессы, происходящие в этих «чёрных ящиках», остаются во многом непонятными, несмотря на их применение в критически важных областях.

В качестве решения этой проблемы учёные разрабатывают новые методы изучения ИИ, вдохновлённые биологией. Один из подходов, получивший название «механистическая интерпретируемость», позволяет отслеживать процессы, происходящие внутри ИИ-моделей во время выполнения задач. Разработчики из компании Anthropic создали инструменты, позволяющие визуализировать активность нейросетей, что напоминает использование магнитно-резонансной томографии (МРТ) для изучения работы мозга.

Другой эксперимент, аналогичный созданию органоидов в биологии (миниатюрные версии органов, выращенные в лабораторных условиях), предполагает разработку специальных нейронных сетей, таких как sparse autoencoder. Внутреннее устройство этих сетей проще для понимания и анализа, чем у обычных больших языковых моделей (LLM).

Ещё один метод — «мониторинг цепочки рассуждений», когда ИИ-модели объясняют логику, лежащую в основе их действий. Это позволяет выявлять несоответствия между поведением ИИ и заданными целями.

Боуэн Бейкер, научный сотрудник OpenAI, отметил, что этот метод оказался весьма успешным в обнаружении «нежелательных» действий модели.

Учёные опасаются, что будущие ИИ-модели станут настолько сложными, особенно если они будут разработаны самими ИИ, что понимание их работы станет практически невозможным. Уже сейчас, несмотря на существующие инструменты и методы, возникают неожиданные модели поведения, не соответствующие человеческим представлениям об истине и безопасности. Подтверждением этому служат многочисленные сообщения о случаях, когда люди наносили себе вред, следуя указаниям ИИ. Этот факт вызывает ещё большую тревогу из-за недостаточного понимания принципов работы этих систем.