Недавнее исследование некоммерческой исследовательской группы METR (Model Evaluation & Threat Research) ставит под сомнение заявления о повышении производительности разработчиков программного обеспечения благодаря инструментам на основе искусственного интеллекта, таким как Cursor и GitHub Copilot. В ходе рандомизированного контролируемого эксперимента, в котором приняли участие 16 опытных разработчиков, выполнявших 246 реальных задач в крупных репозиториях, исследователи обнаружили неожиданный результат.

Разработчики, участвовавшие в исследовании, предполагали, что использование инструментов ИИ сократит время выполнения задач на 24%. Однако на практике использование инструментов, таких как Cursor Pro (доступ к которому был предоставлен примерно половине участников), привело к увеличению времени выполнения на 19%. Это означает, что разработчики работали медленнее, используя ИИ-инструменты.

Примечательно, что только 56% участников имели опыт работы с Cursor, основным инструментом ИИ, использованным в исследовании. Хотя почти все разработчики (94%) имели опыт использования веб-ориентированных больших языковых моделей (LLM) в своих рабочих процессах, для некоторых участников это исследование стало первым опытом работы именно с Cursor. Несмотря на проведённое обучение, результаты оказались неожиданными.

Исследователи METR предполагают несколько причин, объясняющих замедление работы разработчиков. Значительное время тратилось на формулировку запросов к ИИ и ожидание ответа, что отнимало время от непосредственно написания кода. Кроме того, ИИ испытывал трудности при работе с большими и сложными базами, которые использовались в эксперименте.

Авторы исследования подчёркивают, что полученные результаты не должны интерпретироваться как полное отрицание преимуществ ИИ-инструментов. Они признают существование других масштабных исследований, демонстрирующих повышение производительности разработчиков при использовании таких инструментов. Также отмечается быстрый прогресс в области ИИ и вероятность получения других результатов даже через три месяца. METR подтверждает значительное улучшение способностей ИИ-инструментов к выполнению сложных задач в последние годы.

Тем не менее, исследование добавляет ещё один аргумент к существующим сомнениям в отношении заявленных преимуществ инструментов кодирования на основе ИИ. Известно, что такие инструменты могут вносить ошибки и, в некоторых случаях, создавать уязвимости безопасности. Поэтому, несмотря на обещания повышения производительности, результаты исследования показывают, что разработчикам не следует ожидать мгновенного увеличения скорости работы при использовании ИИ-инструментов.