Учёные Массачусетского технологического института (MIT) проанализировали 809 крупных языковых моделей, выпущенных с октября 2022 по март 2025 года, чтобы выяснить, что именно определяет их успехи. Результаты исследования опровергают распространённое мнение о наличии у лидеров рынка некой «секретной формулы».

Авторы работы выделили четыре ключевых фактора: объём вычислительных ресурсов, общие алгоритмические достижения, фирменные инженерные решения и индивидуальные особенности архитектуры. Оказалось, что 80–90% прогресса на переднем крае ИИ объясняется исключительно масштабом вычислений, используемых для обучения моделей.

Вклад фирменных технологий и уникальных инженерных решений компаний оценивается лишь в 14–18%. Это значит, что даже самые передовые алгоритмы и оптимизации не могут конкурировать с преимуществом в вычислительных мощностях.

За три года объём вычислений, затрачиваемых на обучение крупнейших моделей, вырос примерно в 5000 раз. При этом общие алгоритмические улучшения позволили повысить эффективность обучения в 7,5 раза, особенно для небольших моделей.

Исследование также выявило значительные различия в эффективности между разработчиками: некоторые компании добивались аналогичных результатов, используя в 61 раз меньше вычислительных ресурсов.

Авторы делают вывод, что в ближайшем будущем именно доступ к современным дата-центрам и мощным чипам станет определяющим фактором в гонке за создание самых совершенных ИИ-систем. Уникальные алгоритмы и инженерные находки важны, но их влияние ограничено.