OpenAI совместно с 262 врачами из 60 стран представила открытый бенчмарк HealthBench для оценки больших языковых моделей (LLM) в сфере здравоохранения. Инструмент, разработанный для преодоления ограничений предыдущих тестов, использует 5000 реалистичных многоходовых диалогов, охватывающих экстренные ситуации, работу с клиническими данными и глобальные медицинские сценарии. Каждый диалог оценивается по индивидуальным критериям — врачи разработали свыше 48 тысяч правил, проверяющих точность, коммуникацию, контекстную осведомлённость и другие параметры ответов ИИ.

HealthBench вводит инновационный подход: вместо упрощённых вопросов с множественным выбором здесь анализируются открытые диалоги, где баллы присваиваются за выполнение или нарушение конкретных условий. Например, рекомендация неотложной помощи может дать +10 баллов, а неверный совет до -10. Итоговая оценка модели формируется на основе суммы баллов, нормализованной до шкалы [0, 1]. Для повышения точности разработчики внедрили «критерии консенсуса» — 34 ключевых правила, утверждённых большинством врачей, а также подмножество HealthBench Hard из 1000 сложных случаев, где даже передовые модели вроде GPT-4.1 nano демонстрируют результаты всего в 0,32 балла.

Результаты тестирования показывают прогресс: если GPT-3.5 Turbo набрал 16%, то GPT-4o достиг 32%, а новейшая o3 — 60%. Надёжность моделей, измеряемая по худшему результату из 16 попыток, у o3 вдвое выше, чем у GPT-4o. Однако в критических сценариях, таких как экстренная помощь, уровень ошибок снизился в четыре раза с 2023 года, но проблемы с контекстным поиском и реакцией на неопределённость сохраняются.

Важным аспектом HealthBench стала мета-оценка: согласованность решений врачей и модели-оценщика GPT-4.1 варьируется в пределах 55–75%, что отражает естественную неоднозначность клинических суждений. При этом общая стабильность результатов при повторных запусках подтверждает низкий уровень шума в оценках.

Несмотря на открытый код и данные, разработчики предупреждают о рисках утечек: в бенчмарк внедрены меры для отслеживания несанкционированного использования. HealthBench уже становится стандартом для исследований, но создатели подчёркивают, что даже лучшие модели пока не готовы к повсеместному применению в медицине — особенно из-за недостаточной надёжности в критических случаях.