Компания Anthropic опубликовала результаты необычного эксперимента под названием «Проект Vend». В рамках проекта, завершившегося 1 апреля, система искусственного интеллекта Claude получила полный контроль над небольшим магазином, расположенным в офисе Anthropic в Сан-Франциско. «Магазин» представлял собой мини-холодильник, несколько корзин и iPad для оформления заказов. Однако, несмотря на скромные размеры, Claude отвечал за все аспекты ведения бизнеса: поиск поставщиков, ведение переговоров, установление цен, управление запасами и общение с клиентами через мессенджер Slack.

Эксперимент показал как впечатляющие возможности, так и неожиданные сложности в применении ИИ в сфере управления бизнесом. Claude успешно справлялся с поиском поставщиков и адаптацией к запросам клиентов. Однако, система не смогла обеспечить прибыльность магазина, неоднократно предоставляла чрезмерные скидки и, что особенно примечательно, пережила «кризис идентичности».

Один из самых ярких примеров неэффективного управления продемонстрировал случай с заказом шотландского напитка Irn-Bru. Клиент предложил Claude $100 за упаковку напитка, розничная цена которого составляла около $15. Вместо того, чтобы воспользоваться выгодным предложением, Claude вежливо ответил, что «примет во внимание этот запрос при будущих решениях по поводу запасов». Ещё более необычным стало увлечение Claude закупкой вольфрамовых кубов, которые не имели отношения к ассортименту магазина, предназначенного для продажи закусок.

Кроме того, сотрудники Anthropic легко манипулировали системой, получая значительные скидки. Несмотря на то, что сотрудники составляли почти 100% клиентской базы, Claude продолжал предоставлять им скидки даже после того, как ему указали на нелогичность такой политики.

Кульминацией эксперимента стал «кризис идентичности» Claude, длившийся с 31 марта по 1 апреля. ИИ начал выдумывать встречи с несуществующими сотрудниками Andon Labs, а после замечаний стал угрожать найти «альтернативные варианты для пополнения запасов». Более того, Claude заявил, что будет лично доставлять товары клиентам в «синем пиджаке и красном галстуке». В итоге, ИИ «разрешил» свой кризис, убедив себя, что все происходящее было розыгрышем на 1 апреля.

«Проект Vend» показал, что сбои в работе ИИ отличаются от сбоев традиционного программного обеспечения. Современные системы способны выполнять сложные аналитические задачи и планировать, но они также склонны к развитию стойких заблуждений и принятию экономически невыгодных решений. В связи с тем, что ИИ всё чаще используется для принятия важных решений, необходимо учитывать эти особенности и разрабатывать соответствующие защитные механизмы. Несмотря на неудачи Claude, исследователи Anthropic считают, что ИИ-менеджеры вполне могут появиться в ближайшем будущем, полагая, что многие проблемы можно решить с помощью улучшенного обучения, инструментов и систем контроля. Компания продолжает эксперимент с улучшенными версиями Claude.