- Соцсеть X запретила использовать свой... (14)
- Линию Mercedes порезали на лом, завод... (39)
- В этом году МТС отключит половину своих... (44)
- Премьера в Мариинском театре 19 июня:... (55)
- Учёные представили беспрецедентный объём... (53)
- Intel прекратила платить клиентам, чтобы те... (61)
- АвтоВАЗ радует: Lada Vesta и Aura со скидкой... (55)
- Для создания российской космической станции... (59)
- Отечественные ОС пропишут в каждый ноутбук,... (64)
- Самый продаваемый пикап в России с корнями... (63)
- 145 л.с. и китайская 6-ступенчатая... (59)
- Intel признала, что изначально разрабатывала... (51)
- Subaru дала заводскую гарантию 3 года на все... (60)
- От самого дешевого Galaxy A06 до нового... (59)
- Запуск телескопа «Нэнси Грейс Роман»... (64)
- После рекордного обвала акции Tesla пошли... (71)
Alibaba совершила прорыв в обработке больших текстов: модель QwenLong-L1 способна на анализ документов любой длины за секунды
Дата: 2025-06-04 21:41
Компания Alibaba Group представила QwenLong-L1 – новую архитектуру, позволяющую большим языковым моделям (LLM) эффективно обрабатывать чрезвычайно длинные входные данные. Эта разработка открывает новые возможности для корпоративных приложений, требующих анализа обширных документов, таких как подробные корпоративные отчёты, многостраничные финансовые ведомости или сложные юридические контракты.
До недавнего времени способность больших моделей с рассуждениями (LRM) к работе с длинными текстами оставалась серьёзной проблемой. Хотя прогресс в области обучения с подкреплением (RL) значительно улучшил их навыки решения задач, эффективность таких моделей резко снижалась при обработке текстов, превышающих 4000 токенов. Разработчики QwenLong-L1 в своей статье отмечают, что это ограничение препятствует практическому применению LRM в областях, требующих взаимодействия с обширными базами знаний, например, в научных исследованиях.

Ключевое отличие QwenLong-L1 – многоэтапный подход к обучению. Процесс включает три основных стадии. Сначала модель проходит этап контролируемой тонкой настройки (SFT) на примерах рассуждения с длинными контекстами, что закладывает основу для точного извлечения информации из больших объёмов данных. Далее следует поэтапное обучение с подкреплением (RL), где длина входных документов постепенно увеличивается, что обеспечивает стабильную адаптацию модели к более сложным задачам. Наконец, на заключительном этапе используется выборка сложных примеров из предыдущих этапов, что стимулирует модель к освоению самых трудных задач и исследованию различных путей рассуждения.
Важной особенностью QwenLong-L1 является гибридная система вознаграждения. Она сочетает в себе строгую проверку на основе правил, гарантирующую точность, и оценку, производимую другой LLM, которая сравнивает смысловое содержание сгенерированного ответа с эталонным. Это позволяет более гибко обрабатывать различные варианты правильных ответов, характерные для длинных и сложных документов.
Тестирование QwenLong-L1 на семи эталонных наборах данных для задач вопрос-ответ на основе документов (DocQA) показало впечатляющие результаты. Модель QWENLONG-L1-32B продемонстрировала производительность, сопоставимую с Anthropic’s Claude-3.7 Sonnet Thinking, и превзошла модели OpenAI o3-mini и Qwen3-235B-A22B. Более компактная модель QWENLONG-L1-14B превзошла Google Gemini 2.0 Flash Thinking и Qwen3-32B.
Примечательно, что обучение с помощью QwenLong-L1 привело к появлению у модели специализированных навыков рассуждения в длинном контексте: лучшее «заземление» ответов (связывание ответов с конкретными частями документа), постановка промежуточных целей, отслеживание ошибок и их исправление, а также верификация ответов. Alibaba выпустила код QwenLong-L1 и веса для обученных моделей, что открывает широкие возможности для её применения в различных областях, включая юридическую сферу, финансы и сферу обслуживания.
Подробнее на iXBT
Предыдущие новости
Radeon RX 9070 впервые подешевела ниже рекомендованной цены
Видеокартa Radeon RX 9070 пока что зачастую продаётся по цене выше рекомендованной, но потихоньку дешевеет. И на днях впервые на рынке было зафиксировано предложение с ценой ниже рекомендованной. фото Videocardz Один из немецких продавцов предлагал карту за 613 евро. Видимо, это была какая-то ограниченная партия, так как сейчас цена вернулась к первоначальной отметке в 629...
В России создали новейшее углеволокно для межзвёздных кораблей и лунных баз
Российские учёные из Химико-технологического кластера Росатома разработали углеволокно, которое отличается большой жёсткостью, не деформируется под нагрузкой и не меняет форму даже при экстремальных температурных колебаниях. Создатели материала считают, что он пригодится для строительства космических кораблей, самолётов и другой современной техники. Ранее подобные волокна...
Вот это настоящий подарок экономным геймерам от AMD. Radeon RX 9060 XT с 16 ГБ памяти за 350 долларов почти идентична RTX 5060 Ti 16GB за 430 долларов
Сегодня различные тематические ресурсы опубликовали обзоры видеокарты Radeon RX 9060 XT 16GB. Напомним, это видеокарта стоимостью 350 долларов, которая должна выступать конкурентом для RTX 5060 Ti 16GB с ценой 430 долларов. фото TechPowerUp И новинка AMD действительно выступает конкурентом. Если брать за основу обзор TechPowerUp, карта AMD в Full HD всего на 3-4% отстаёт от...
Впервые в истории GPU удалось разогнать до частоты 4250 МГц, причём это был iGPU процессора Intel
Выходящая на рынок Radeon RX 9060 XT может похвастаться рекордной частотой GPU для потребительского решения из коробки. Речь о частотах около 3,2-3,3 ГГц. Однако новое достижение оверлокера Skatterbencher впечатляет даже на этом фоне. фото Skatterbencher Энтузиасту удалось разогнать не просто GPU, а iGPU до частоты свыше 4 ГГц! Если точнее, он взял процессор Core Ultra 9...