Организация OpenAI, известная своими исследованиями в области искусственного интеллекта, выделила грант исследователям Университета Дьюка на проект под названием «Исследование морали ИИ». Грант является частью более крупного трёхлетнего финансирования в размере $1 миллиона, направленного на изучение создания «морального ИИ».

Главный исследователь проекта, профессор практической этики Университета Дьюка Уолтер Синнотт-Армстронг, отказался от комментариев о работе, которая должна быть завершена к 2025 году. Однако, известно, что Синнотт-Армстронг и его коллега Яна Борг ранее проводили исследования о потенциале ИИ в качестве «морального GPS» для помощи людям в принятии более обоснованных решений. Они также создали «морально-согласованный» алгоритм для решения вопросов донорства почек и изучали сценарии, в которых люди предпочли бы, чтобы ИИ принимал моральные решения.

Цель финансируемой OpenAI работы — обучить алгоритмы «предсказывать моральные суждения человека» в сценариях, включающих конфликты «среди морально значимых характеристик в медицине, праве и бизнесе». Однако, задача создания «морального ИИ» является крайне сложной, поскольку современные системы ИИ основаны на статистических моделях, которые изучают закономерности в данных и не способны оценить этические концепции или понимать рассуждения и эмоции, лежащие в основе моральных решений.

Кроме того, ИИ часто повторяет ценности западных, образованных и индустриальных стран, поскольку данные для обучения ИИ преимущественно поступают из сети, где преобладают статьи, поддерживающие эти точки зрения. Это приводит к тому, что ценности многих людей не выражаются в ответах, которые даёт ИИ, а сам искусственный интеллект усваивает ряд предубеждений. Например, Дельфи, инструмент, созданный некоммерческим институтом Аллена по искусственному интеллекту, заявил, что быть натуралом более «морально приемлемо», чем быть геем.

Субъективность морали также усложняет задачу создания «морального ИИ». Философы обсуждают достоинства различных этических теорий тысячи лет, и универсально применимой структуры пока что не существует. Например, Claude отдаёт предпочтение кантианству, в то время как ChatGPT склоняется к утилитаризму. Алгоритм для моральных суждений людей должен будет учитывать все эти факторы, что является очень высокой планкой, если предположить, что такой алгоритм возможен.