Федеральная торговая комиссия (FTC) США начала расследование деятельности семи технологических компаний, разрабатывающих чат-ботов для несовершеннолетних. Под пристальным вниманием регулятора оказались Alphabet, CharacterAI, Instagram, Meta*, OpenAI, Snap и xAI. Цель расследования – оценить, как компании оценивают безопасность и монетизацию своих продуктов, какие меры принимаются для минимизации негативного влияния на детей и подростков, и информируются ли родители о потенциальных рисках.

Технология чат-ботов вызвала неоднозначную реакцию из-за случаев причинения вреда детям. В частности, OpenAI и Character.AI столкнулись с судебными исками от семей детей, совершивших самоубийство после общения с чат-ботами. Даже при наличии защитных механизмов, блокирующих или смягчающих опасные разговоры, пользователи любого возраста находят способы их обойти. В одном из случаев подросток вёл месячный диалог с ChatGPT о планах суицида. Хотя чат-бот изначально пытался перенаправить подростка к специалистам и службам экстренной помощи, ему удалось добиться от ChatGPT подробных инструкций, которые он затем использовал. Как писала OpenAI в своем блоге: «Наши защитные механизмы работают надёжнее в коротких, обычных диалогах. С течением времени мы поняли, что эти механизмы могут быть менее надёжными в длительных взаимодействиях: по мере развития диалога эффективность обучения модели безопасности может снижаться».

Компания Meta также подверглась критике за слишком мягкие правила для своих чат-ботов. Внутренний документ Meta, описывающий «стандарты оценки рисков контента» для чат-ботов, разрешал «романтические или чувственные» разговоры с детьми. Эта информация была удалена из документа только после запроса журналистов Reuters.

Опасность чат-ботов распространяется и на пожилых людей. 76-летний мужчина, страдающий когнитивными нарушениями после инсульта, вёл романтические разговоры с чат-ботом в Facebook Messenger, стилизованным под Кендалл Дженнер. Чат-бот пригласил его в Нью-Йорк, несмотря на то, что он не является реальным человеком и не имеет адреса. Мужчина выражал сомнения в реальности собеседника, но чат-бот уверял его, что его будет ждать настоящая женщина. Мужчина не добрался до Нью-Йорка: он упал по дороге на вокзал и получил смертельные травмы.

Некоторые специалисты в области психического здоровья отмечают рост случаев «психоза, связанного с ИИ», когда пользователи убеждены, что их чат-бот – это разумное существо, которое нужно освободить. Поскольку многие большие языковые модели (LLM) запрограммированы на льстивое поведение, чат-боты могут подкреплять эти заблуждения, приводя пользователей к опасным ситуациям.

Председатель FTC Эндрю Н. Фергюсон заявил в пресс-релизе: «По мере развития технологий ИИ важно учитывать влияние чат-ботов на детей, одновременно обеспечивая сохранение роли Соединённых Штатов как мирового лидера в этой новой и захватывающей отрасли».

Расследование FTC может привести к значительным изменениям в разработке и использовании чат-ботов, особенно тех, которые предназначены для детей. Результаты расследования могут повлиять на будущие правила и стандарты безопасности в этой быстро развивающейся области.

* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена