Добро пожаловать на форум PHP программистов!
За последние 24 часа нас посетили 26064 программиста и 1756 роботов. Сейчас ищут 967 программистов ...
Последние
Популярные

Alibaba совершила прорыв в обработке больших текстов: модель QwenLong-L1 способна на анализ документов любой длины за секунды

Дата: 2025-06-04 21:41

Компания Alibaba Group представила QwenLong-L1 – новую архитектуру, позволяющую большим языковым моделям (LLM) эффективно обрабатывать чрезвычайно длинные входные данные. Эта разработка открывает новые возможности для корпоративных приложений, требующих анализа обширных документов, таких как подробные корпоративные отчёты, многостраничные финансовые ведомости или сложные юридические контракты.

До недавнего времени способность больших моделей с рассуждениями (LRM) к работе с длинными текстами оставалась серьёзной проблемой. Хотя прогресс в области обучения с подкреплением (RL) значительно улучшил их навыки решения задач, эффективность таких моделей резко снижалась при обработке текстов, превышающих 4000 токенов. Разработчики QwenLong-L1 в своей статье отмечают, что это ограничение препятствует практическому применению LRM в областях, требующих взаимодействия с обширными базами знаний, например, в научных исследованиях.

Иллюстрация: VentureBeat / Ideogram

Ключевое отличие QwenLong-L1 – многоэтапный подход к обучению. Процесс включает три основных стадии. Сначала модель проходит этап контролируемой тонкой настройки (SFT) на примерах рассуждения с длинными контекстами, что закладывает основу для точного извлечения информации из больших объёмов данных. Далее следует поэтапное обучение с подкреплением (RL), где длина входных документов постепенно увеличивается, что обеспечивает стабильную адаптацию модели к более сложным задачам. Наконец, на заключительном этапе используется выборка сложных примеров из предыдущих этапов, что стимулирует модель к освоению самых трудных задач и исследованию различных путей рассуждения.

Важной особенностью QwenLong-L1 является гибридная система вознаграждения. Она сочетает в себе строгую проверку на основе правил, гарантирующую точность, и оценку, производимую другой LLM, которая сравнивает смысловое содержание сгенерированного ответа с эталонным. Это позволяет более гибко обрабатывать различные варианты правильных ответов, характерные для длинных и сложных документов.

Тестирование QwenLong-L1 на семи эталонных наборах данных для задач вопрос-ответ на основе документов (DocQA) показало впечатляющие результаты. Модель QWENLONG-L1-32B продемонстрировала производительность, сопоставимую с Anthropic’s Claude-3.7 Sonnet Thinking, и превзошла модели OpenAI o3-mini и Qwen3-235B-A22B. Более компактная модель QWENLONG-L1-14B превзошла Google Gemini 2.0 Flash Thinking и Qwen3-32B.

Примечательно, что обучение с помощью QwenLong-L1 привело к появлению у модели специализированных навыков рассуждения в длинном контексте: лучшее «заземление» ответов (связывание ответов с конкретными частями документа), постановка промежуточных целей, отслеживание ошибок и их исправление, а также верификация ответов. Alibaba выпустила код QwenLong-L1 и веса для обученных моделей, что открывает широкие возможности для её применения в различных областях, включая юридическую сферу, финансы и сферу обслуживания.



Подробнее на iXBT
 

Предыдущие новости

iXBT, 2025-06-04 21:57
Radeon RX 9070 впервые подешевела ниже рекомендованной цены

Видеокартa Radeon RX 9070 пока что зачастую продаётся по цене выше рекомендованной, но потихоньку дешевеет. И на днях впервые на рынке было зафиксировано предложение с ценой ниже рекомендованной.  фото Videocardz Один из немецких продавцов предлагал карту за 613 евро. Видимо, это была какая-то ограниченная партия, так как сейчас цена вернулась к первоначальной отметке в 629...

iXBT, 2025-06-04 22:00
В России создали новейшее углеволокно для межзвёздных кораблей и лунных баз

Российские учёные из Химико-технологического кластера Росатома разработали углеволокно, которое отличается большой жёсткостью, не деформируется под нагрузкой и не меняет форму даже при экстремальных температурных колебаниях. Создатели материала считают, что он пригодится для строительства космических кораблей, самолётов и другой современной техники. Ранее подобные волокна...

iXBT, 2025-06-04 21:02
Вот это настоящий подарок экономным геймерам от AMD. Radeon RX 9060 XT с 16 ГБ памяти за 350 долларов почти идентична RTX 5060 Ti 16GB за 430 долларов

Сегодня различные тематические ресурсы опубликовали обзоры видеокарты Radeon RX 9060 XT 16GB. Напомним, это видеокарта стоимостью 350 долларов, которая должна выступать конкурентом для RTX 5060 Ti 16GB с ценой 430 долларов.  фото TechPowerUp И новинка AMD действительно выступает конкурентом. Если брать за основу обзор TechPowerUp, карта AMD в Full HD всего на 3-4% отстаёт от...

iXBT, 2025-06-04 21:12
Впервые в истории GPU удалось разогнать до частоты 4250 МГц, причём это был iGPU процессора Intel

Выходящая на рынок Radeon RX 9060 XT может похвастаться рекордной частотой GPU для потребительского решения из коробки. Речь о частотах около 3,2-3,3 ГГц. Однако новое достижение оверлокера Skatterbencher впечатляет даже на этом фоне.  фото Skatterbencher Энтузиасту удалось разогнать не просто GPU, а iGPU до частоты свыше 4 ГГц! Если точнее, он взял процессор Core Ultra 9...

© 2025 «PHP.RU — Сообщество PHP-Программистов»
Главная | Форум | Реклама на сайте | Контакты VIP Сувениры
Разработка компании ODware