ChatGPT уже показал себя способным проходить различные тесты, сдавать экзамены и так далее. Оказалось, что играть в игры он пока может весьма плохо. Как минимум в Doom. 

Адриан де Винтер (Adrian de Wynter), ученый Microsoft и исследователь Йоркского университета в Англии, решил проверить, может ли языковая модель GPT-4, лежащая в основе ChatGPT, играть в Doom без предварительного обучения. Оказалось, что может, но плохо. 

Искусственный интеллект в целом играл в игру. То есть он передвигался по уровням, открывал двери и стрелял из оружия. Однако у него были проблемы с передвижением, он порой застревал в углах, но хуже всего, что ИИ забывал о противниках, как только те исчезали из его поля зрения. И это несмотря на инструкции, указывающие на то, что делать, если враг на экране отсутствует, но при этом персонажу наносится урон. Впрочем, учитывая, что ИИ вообще никак не обучался играм, это уже очень неплохо. 

Отдельно автор проекта отмечает, что ему без труда удалось заставить GPT-4 стрелять. Да, лишь в виртуальном мире, но несложно придумать сценарии, когда действия в виртуальном мире можно тем или иным образом перенести в реальный.  

Отдельно стоит отметить, что просто взять и дать GPT-4 поиграть в какую-либо игру, конечно, невозможно. Конкретно в этом случае де Винтер разработал компонент Vision, который вызывает GPT-4V, который делает снимки экрана из игрового движка и возвращает описания структуры состояния игры. Затем он объединил это с моделью агента, которая вызывает GPT-4 для принятия решений на основе визуальных данных и предыдущей истории. Модель агента получила указание преобразовывать свои ответы в команды нажатия клавиш, которые имеют значение для игрового движка. Взаимодействия обрабатывались через уровень менеджера, состоящий из привязки Python с открытым исходным кодом к движку C Doom , работающему на Matplotlib.