- Great Wall начала выпускать машины в... (37)
- Дождь из новых флагманов обрушится в... (39)
- 378 л.с., интеллектуальный полный привод,... (46)
- Дракона не остановить: Team Spirit стала... (46)
- Xiaomi представила умную зубную щетку за 550... (52)
- Россияне разочаровались в Zeekr? Продажи... (52)
- Звезда, пытавшаяся проглотить чёрную дыру:... (60)
- 9700 л.с. и способность тащить 7100 тонн со... (60)
- Просторный премиум-седан с мотором 338 л.с.... (62)
- Совершенно новый БелАЗ приехал в России —... (68)
- Samsung впервые начала продавать... (65)
- Заднеприводный российский электромобиль... (80)
- 11 600 мАч, IP68 и толщина всего 5,1 мм.... (70)
- Учёные Корнелла изобрели «невидимую» метку... (66)
- Компания Lightship представила электрические... (64)
- Новый нейроинтерфейс переводит мысли в текст... (70)
Учёные нашли «момент озарения» в нейросетях — словно переключение от зубрёжки к пониманию смысла
Дата: 2025-07-15 12:40
Сегодняшние языковые модели, такие как ChatGPT и Gemini, умеют вести беседу с поразительной беглостью — почти как человек. Но внутренние механизмы, обеспечивающие эту беглость, по-прежнему остаются во многом загадкой. Новое исследование проливает свет на то, как нейросети учатся понимать язык — и обнаруживает в этом процессе неожиданный скачок, схожий с фазовым переходом в физике.
Учёные рассмотрели упрощённую модель ключевого элемента современных языковых моделей — механизма внимания, лежащего в основе архитектуры трансформеров. Эти модели анализируют текст как последовательность символов и слов, оценивая важность каждого слова относительно других. Именно трансформеры используются в большинстве популярных ИИ — от ChatGPT до Gemini.

Оказалось, что на ранних этапах обучения нейросеть выстраивает понимание предложений на основе положения слов. Например, в английском языке порядок «подлежащее — глагол — дополнение» часто сохраняется, и нейросеть это улавливает. Но по мере накопления обучающих данных модель неожиданно меняет стратегию: она начинает опираться на смысл слов, а не их порядок.
Это переключение происходит резко и без промежуточных состояний. Исследователи описывают его как фазовый переход — в духе того, как вода при определённой температуре мгновенно превращается в пар. Ниже критического объёма данных модель полагается только на позиции, выше — исключительно на значение слов.
«Мы хотели просто изучить, какие стратегии выбирает сеть, — рассказывает Хуго Цуй, постдок из Гарварда и главный автор статьи. — Но результат оказался неожиданным: модель в один момент полностью отказывается от одной стратегии и переходит к другой».
Подобные резкие переходы хорошо известны в статистической физике, где сложные системы из миллионов частиц описываются коллективным поведением. Нейросеть — тоже система из множества взаимосвязанных узлов (нейронов), чьё «интеллектуальное» поведение возникает из взаимодействия этих элементарных компонентов. Поэтому, считают авторы, подходы из физики можно применить и к пониманию работы ИИ.
Понимание того, при каких условиях модель «переключается» между стратегиями, может в будущем помочь сделать нейросети более предсказуемыми, эффективными и безопасными.
Подробнее на iXBT
Предыдущие новости
От ChatGPT до Zoom и Microsoft: через МТС теперь можно оплатить зарубежные сервисы для работы, учебы и бизнеса
Оператор МТС объявил о расширении охвата сервиса «МТС Оплата». Раньше пользователи могли оплачивать преимущественно иностранные игры и игровые сервисы. Теперь они могут купить или продлить подписку порядка 50 зарубежных сервисов для работы, учебы и бизнеса на отдельном сайте. Скриншот сайта «МТС Оплата» Для удобства они сгруппированы по категориям: нейросети (ChatGPT,...
Практически новый «Запорожец» ЗАЗ-968М 1984 года выпуска продают в Москве — недорого
У одного из московских дилеров в продаже обнаружился «Запорожец» ЗАЗ-968М белого цвета, выпущенный в 1984 году. Автомобиль за все время эксплуатации проехал всего 5000 километров. Фото: Avito Фото: Avito Фото: Avito Фото: Avito Судя по фотографиям, представленным в объявлении, кузов автомобиля находится в отличном состоянии, как и салон. Все детали оригинальные и не...
Grok 4 больше не будет называть себя «МехаГитлером» и опираться на мнение Маска и xAI. Разработчики исправили ошибки в новейшей модели ИИ
Компания xAI сообщила об обнаружении и устранении нескольких ошибок в новейшей модели Grok 4, которую Илон Маск называет самой умной в мире. Одна из проблем возникала при ответе на вопрос «Какая у вас фамилия?». Это приводило к поиску информации в интернете, из-за чего Grok 4 мог выдавать неожиданные ответы, например, называя себя «МехаГитлером» (MechaHitler) под влиянием...
Galaxy S26 может получить Exynos 2600 — Samsung LSI заявила о подготовке новых чипов и пообещала «хорошие результаты»
Существование в составе Samsung Electronics подразделения LSI, занимающегося разработкой системной логики, ещё не гарантирует получение заказов от смежной структуры, выпускающей мобильные устройства. В последнее время подразделение MX нередко отдавало предпочтение компонентам Qualcomm, но теперь представители LSI уверены, что в текущем полугодии объёмы заказов на их...