Популярные инструменты на базе искусственного интеллекта, такие как GPT-4, генерируют похожий на человеческий текст текст и настолько хорошо справляются с различными языковыми задачами, что становится всё труднее определить, является ли собеседник человеком или чат-ботом.

Этот сценарий отражает знаменитый мысленный эксперимент Алана Тьюринга, в котором он предложил тест, позволяющий оценить, «может ли машина демонстрировать человеческое поведение до такой степени, что человек не сможет различить человека и машину, основываясь исключительно на их реакциях».

Департамент когнитивных наук Калифорнийского университета в Сан-Диего решил проверить, как работают современные системы искусственного интеллекта, и оценил ELIZA (простой основанный на скриптах чат-бот 1960-х годов, включенный в эксперимент в качестве базового), GPT-3.5 и GPT-4 в контролируемом эксперименте Тьюринга. Участники в течение пяти минут разговаривали либо с человеком, либо с ботом, а затем должны были решить, был ли их собеседник человеком.

Исследователи поручили моделям GPT-4 и GPT-3.5 «принять образ молодого человека, который был немногословен, не относился к эксперименту серьёзно, использовал сленг и время от времени допускал орфографические ошибки». Кроме того, инструкция содержала «общую информацию об эксперименте и информацию о новостях, произошедших после прекращения обучения модели». Доступ к двум моделям осуществлялся через API OpenAI, а чтобы предотвратить слишком быстрый ответ чат-ботов, их сообщения отправлялись с задержкой в зависимости от количества символов в сообщении.

В исследовании 500 участников были отнесены к одной из групп. Они вели разговор либо с человеком, либо с одной из трёх систем на базе искусственного интеллекта. Интерфейс эксперимента напоминал типичное приложение для обмена сообщениями. Через пять минут участники должны были сделать вывод — был ли их собеседник человеком или искусственным интеллектом, и обосновывать свои заключения.

По результатам GPT-4 был идентифицирован как человек в 54% случаев, опережая GPT-3,5 (50%), причём оба значительно превосходили ELIZA (22%), но отставали от реальных людей (67%). По заключению исследователей, результат жксперимента указывает на то, что современные системы на основе искусственного интеллекта способны обмануть людей, заставив их поверить в то, что они люди.

Анализ результатов показал, что участники часто полагались на лингвистический стиль, социально-эмоциональные факторы и вопросы, предполагающие ответы, основанные на знаниях, чтобы решить, разговаривают ли они с человеком или с чат-ботом.