ChatGPT уже показал себя способным проходить различные тесты, сдавать экзамены и так далее. Оказалось, что играть в игры он может пока очень плохо. Как минимум в Doom. 

Адриан де Винтер (Adrian de Wynter), учёный Microsoft и исследователь Йоркского университета в Англии, решил проверить, может ли языковая модель GPT-4, лежащая в основе ChatGPT, играть в Doom без предварительного обучения. Оказалось, что может, но плохо. 

Искусственный интеллект в целом выполнял нужные игровые действия. То есть он передвигался по уровням, открывал двери и стрелял из оружия. Однако у него были проблемы с передвижением, он порой застревал в углах, но хуже всего то, что ИИ забывал о противниках, как только те исчезали из его поля зрения. И это несмотря на инструкции, указывающие, что делать, если враг на экране отсутствует, но при этом персонажу наносится урон. Впрочем, учитывая, что ИИ вообще никак не обучался играм, это уже очень неплохо. 

Отдельно автор проекта отмечает, что ему без труда удалось заставить GPT-4 стрелять. Да, лишь в виртуальном мире, но можно легко придумать сценарии, когда действия в виртуальном мире можно тем или иным образом перенести в реальный.  

Отдельно стоит отметить, что просто взять и дать GPT-4 поиграть в какую-либо игру, конечно, невозможно. Конкретно в этом случае де Винтер разработал компонент Vision, который вызывает GPT-4V, делающий снимки экрана из игрового движка и возвращает описания структуры состояния игры. Затем он объединил это с моделью агента, которая вызывает GPT-4 для принятия решений на основе визуальных данных и предыдущей истории. Модель агента получила указание преобразовывать свои ответы в команды нажатия клавиш, которые имеют значение для игрового движка. Взаимодействия обрабатывались через уровень менеджера, состоящий из привязки Python с открытым исходным кодом к движку C Doom, работающему на Matplotlib.