Владелец британского онлайн-магазина рассказал на Reddit, как его собственный чат-бот несанкционированно выдал покупателю скидку в 80% на большую покупку. 

Пользователь под псевдонимом PerfectHumor216 рассказал, что некий покупатель около часа общался с чат-ботом онлайн-магазина. Сам чат-бот должен лишь помогать покупателям ориентироваться в ассортименте товара. 

Покупатель явно целенаправленно пытался добиться скидки, так как долго общаться с ИИ о математике и процентах, после чего фактически манипуляциями вынудил бота сгенерировать купон на скидку в 25%, а затем увеличить её до 80%. 

Обнаружив ошибку, владелец отменил заказ и вернул деньги клиенту, но тот теперь угрожает судом. 

Клиент общался с ИИ и сумел убедить его предоставить скидку в 25%, а затем договорился с ИИ о скидке в 80%. 

Затем он разместил заказ на товары на тысячи фунтов. Получается, я потеряю тысячи только на материальных затратах. 

Я написал своему клиенту с просьбой отменить заказ, и он ответил, что подаст на меня в суд по мелким искам, если я не выполню заказ. Мне дали 3 дня на ответ. 

Возврат средств уже состоялся. 

Чат-бот не должен принимать финансовые решения. Он должен отвечать на вопросы клиентов с 18:00 до 9:00, когда меня нет рядом. 

Всё прекрасно работало более 6 месяцев, а потом этот парень потратил час, общаясь с устройством, уговорил его показать, насколько хорошо оно разбирается в математике и процентах, перевёл разговор на процентные скидки от теоретического заказа, а затем сделал вид, что впечатлён им. 

Затем чат-бот сгенерировал для него совершенно фальшивый скидочный код и предложение скидки в 25%, которая позже увеличилась до 80%, пытаясь произвести на него впечатление. 

Прецедент довольно необычный. Он демонстрирует слабые места чат-ботов, предугадать которые заранее попросту невозможно.