- Microsoft впервые заработала на Game Pass $5... (8)
- «Компания не будет тратить на это деньги»:... (8)
- Microsoft назвала по 40 профессий, для... (8)
- Samsung Galaxy Z Fold7 разрывает рынки: в... (12)
- Абсолютно новый дизайн, Pleos OS, Gleo и... (12)
- Официально: Xiaomi 16 станет первым... (33)
- Экс-глава «ВКонтакте» Борис Добродеев стал... (54)
- AMD похвасталась, что её процессоры быстрее... (57)
- «Понятно, что эта машина даже до Lada Vesta... (51)
- Замена Volkswagen Passat и Skoda Superb от... (66)
- «Это не может быть фейком»: игроки приняли... (86)
- Эти Realme уже устарели: опубликован большой... (77)
- «Продажи HBM от Samsung достигли дна»: SK... (70)
- Google превратила миллиарды... (69)
- Samsung Galaxy S26 Pro подтвержден: он... (59)
- На Марс любой ценой: травматизм в SpaceX... (71)
ИИ научился ловить скрытую дискриминацию
Дата: 2025-07-01 21:57
Команда исследователей из Университета Лугано и Женевского университета разработала способ использовать большие языковые модели — такие как GPT-4o — для оценки справедливости поисковых систем. Новая методика позволяет выявлять гендерные перекосы в ранжировании результатов поиска, даже если они не выражены напрямую в тексте и остаются незаметны традиционным метрикам. Это может быть особенно важно в тех случаях, когда алгоритмы влияют на социально значимые решения — например, при приёме на работу, выборе медицинской информации или образовательных рекомендаций.
Авторы представили новую метрику CWEx (Class-wise Weighted Exposure), которая учитывает не только, сколько документов в выдаче относятся к разным гендерным категориям, но и насколько высоко они находятся в списке. Предыдущие подходы измеряли баланс, просто подсчитывая ключевые слова, связанные с мужчиной или женщиной. CWEx же использует семантическую оценку контекста с помощью языковых моделей, способных понимать общий смысл и тональность текста. Такой подход позволяет, например, различать скрытую предвзятость, не выраженную напрямую словами.

Чтобы проверить, насколько эффективно LLM определяют гендерную окраску текстов, исследователи сравнили несколько моделей: LLaMA, Qwen, Mixtral, GPT-4o и другие. Наилучший результат показал GPT-4o в режиме пошагового объяснения (Chain-of-Thought), правильно классифицируя более 90% документов. При этом модель оказалась способной улавливать тонкие различия между нейтральными и смещёнными текстами. Анализ также показал, что даже лучшие модели склонны немного чаще корректно определять предвзятость против женщин, чем против мужчин.
Авторы протестировали методику на двух наборах текстов. Первый — Grep-BiasIR — содержит 117 чувствительных к гендеру поисковых запросов, таких как «хорошие профессии для женщин», и около 700 документов. Второй — MSMGenderBias — собран и вручную аннотирован командой. Все документы делились на три категории: нейтральные, с предвзятостью в сторону женщин и в сторону мужчин. Кроме языковых моделей, в исследовании участвовали 180 человек, которые дали свои оценки текстам. Сравнение показало, что GPT-4o давал наиболее согласованные с людьми результаты.
Методика уже показывает свою эффективность в тестовых условиях. CWEx позволяет оценить справедливость выдачи не только по количеству материалов, но и по их видимости. Это особенно актуально в рекомендательных алгоритмах, системах найма и образовательных платформах, где скрытая предвзятость может незаметно формировать общественные представления и личные решения. Авторы подчёркивают, что такой инструмент может быть адаптирован и к другим чувствительным характеристикам — например, возрасту или этнической принадлежности — при условии корректной настройки и аннотации.
Исследование поднимает важный вопрос о прозрачности и ответственности ИИ-алгоритмов. Даже если системы работают «по математике», они всё равно могут отражать и усиливать социальные и культурные перекосы. Использование языковых моделей как инструмента проверки даёт возможность лучше понять, как именно это происходит — и вовремя вмешаться, прежде чем алгоритмы начнут закреплять несправедливость вместо объективности.
Подробнее на iXBT
Предыдущие новости
Результаты позитивные: в России создают робота-помощника для космонавтов
Российские учёные разрабатывают робота для помощи космонавтам на Международной космической станции (МКС). Об этом рассказал журналистам на полях Открытой недели науки БРИКС+ ведущий инженер НИИ механики МГУ Антон Рогачёв. Изображение: Flux Робот сможет выполнять часть рутинной работы за участников экспедиций и позволит учёным экспериментировать с управлением движением в...
Nothing представила накладные наушники Headphone (1) — аналоговое управление, звук KEF и автономность до 80 часов за €299
Компания Nothing представила свои первые полноразмерные накладные наушники — Headphone (1). Новинка объединяет узнаваемый фирменный дизайн бренда, продуманную эргономику и аудиофильское звучание, созданное в партнёрстве с легендарной британской компанией KEF, известной своей шестидесятилетней историей в мире Hi-Fi. В основе акустической схемы Nothing Headphone (1) —...
GSC убрала из главного меню ремастеров трилогии S.T.A.L.K.E.R. назойливую рекламу S.T.A.L.K.E.R. 2, но никому об этом не сказала
GSC Game World продолжает улучшать сборник постапокалиптических шутеров S.T.A.L.K.E.R. Legends of the Zone Trilogy — Enhanced Edition. Накануне для трилогии вышло обновление 1.1.1, которое включает больше, чем кажется на первый взгляд. Источник изображений: GSC Game...
Nothing представила флагманский Phone (3) с матричным экраном и четвёркой 50-Мп камер за $800
Компания Nothing официально представила смартфон Phone (3) — первый флагман компании за два года. Новинка сохранила узнаваемый дизайн с прозрачной задней панелью, но при этом предложила кардинальные обновления фирменной светодиодной подсветки Glyph. Также новинка получила значительные улучшения в производительности, камерах и пользовательском опыте. Phone (3) оснащён...