- FTC начала углублённое расследование покупки... (132)
- Microsoft опровергла слухи об отставке главы... (114)
- Бразилия потребовала от Nintendo изменить... (118)
- Radeon RX 9070 XT, как вино — становится... (130)
- Дуров рассказал про целенаправленную... (132)
- Новая статья: Задача на... (161)
- Спутники SpaceX могут дополнить военную сеть... (142)
- Microsoft начала новые масштабные увольнения... (149)
- Honor освежила тонкий ноутбук MagicBook Art... (143)
- Редкая переменная звезда GOTO0650 увеличила... (144)
- Миллионы долларов на ветер — DARPA отменило... (206)
- Нил Дракманн бросил сериал The Last of Us,... (144)
- Xerox приобрела Lexmark за $1,5 млрд в... (155)
- Honor представила флагманский планшет... (162)
- Microsoft отменила Perfect Dark и следующую... (223)
- Perplexity запустила подписку за $200 в... (194)
ИИ научился ловить скрытую дискриминацию
Дата: 2025-07-01 21:57
Команда исследователей из Университета Лугано и Женевского университета разработала способ использовать большие языковые модели — такие как GPT-4o — для оценки справедливости поисковых систем. Новая методика позволяет выявлять гендерные перекосы в ранжировании результатов поиска, даже если они не выражены напрямую в тексте и остаются незаметны традиционным метрикам. Это может быть особенно важно в тех случаях, когда алгоритмы влияют на социально значимые решения — например, при приёме на работу, выборе медицинской информации или образовательных рекомендаций.
Авторы представили новую метрику CWEx (Class-wise Weighted Exposure), которая учитывает не только, сколько документов в выдаче относятся к разным гендерным категориям, но и насколько высоко они находятся в списке. Предыдущие подходы измеряли баланс, просто подсчитывая ключевые слова, связанные с мужчиной или женщиной. CWEx же использует семантическую оценку контекста с помощью языковых моделей, способных понимать общий смысл и тональность текста. Такой подход позволяет, например, различать скрытую предвзятость, не выраженную напрямую словами.

Чтобы проверить, насколько эффективно LLM определяют гендерную окраску текстов, исследователи сравнили несколько моделей: LLaMA, Qwen, Mixtral, GPT-4o и другие. Наилучший результат показал GPT-4o в режиме пошагового объяснения (Chain-of-Thought), правильно классифицируя более 90% документов. При этом модель оказалась способной улавливать тонкие различия между нейтральными и смещёнными текстами. Анализ также показал, что даже лучшие модели склонны немного чаще корректно определять предвзятость против женщин, чем против мужчин.
Авторы протестировали методику на двух наборах текстов. Первый — Grep-BiasIR — содержит 117 чувствительных к гендеру поисковых запросов, таких как «хорошие профессии для женщин», и около 700 документов. Второй — MSMGenderBias — собран и вручную аннотирован командой. Все документы делились на три категории: нейтральные, с предвзятостью в сторону женщин и в сторону мужчин. Кроме языковых моделей, в исследовании участвовали 180 человек, которые дали свои оценки текстам. Сравнение показало, что GPT-4o давал наиболее согласованные с людьми результаты.
Методика уже показывает свою эффективность в тестовых условиях. CWEx позволяет оценить справедливость выдачи не только по количеству материалов, но и по их видимости. Это особенно актуально в рекомендательных алгоритмах, системах найма и образовательных платформах, где скрытая предвзятость может незаметно формировать общественные представления и личные решения. Авторы подчёркивают, что такой инструмент может быть адаптирован и к другим чувствительным характеристикам — например, возрасту или этнической принадлежности — при условии корректной настройки и аннотации.
Исследование поднимает важный вопрос о прозрачности и ответственности ИИ-алгоритмов. Даже если системы работают «по математике», они всё равно могут отражать и усиливать социальные и культурные перекосы. Использование языковых моделей как инструмента проверки даёт возможность лучше понять, как именно это происходит — и вовремя вмешаться, прежде чем алгоритмы начнут закреплять несправедливость вместо объективности.
Подробнее на iXBT
Предыдущие новости
Результаты позитивные: в России создают робота-помощника для космонавтов
Российские учёные разрабатывают робота для помощи космонавтам на Международной космической станции (МКС). Об этом рассказал журналистам на полях Открытой недели науки БРИКС+ ведущий инженер НИИ механики МГУ Антон Рогачёв. Изображение: Flux Робот сможет выполнять часть рутинной работы за участников экспедиций и позволит учёным экспериментировать с управлением движением в...
Nothing представила накладные наушники Headphone (1) — аналоговое управление, звук KEF и автономность до 80 часов за €299
Компания Nothing представила свои первые полноразмерные накладные наушники — Headphone (1). Новинка объединяет узнаваемый фирменный дизайн бренда, продуманную эргономику и аудиофильское звучание, созданное в партнёрстве с легендарной британской компанией KEF, известной своей шестидесятилетней историей в мире Hi-Fi. В основе акустической схемы Nothing Headphone (1) —...
GSC убрала из главного меню ремастеров трилогии S.T.A.L.K.E.R. назойливую рекламу S.T.A.L.K.E.R. 2, но никому об этом не сказала
GSC Game World продолжает улучшать сборник постапокалиптических шутеров S.T.A.L.K.E.R. Legends of the Zone Trilogy — Enhanced Edition. Накануне для трилогии вышло обновление 1.1.1, которое включает больше, чем кажется на первый взгляд. Источник изображений: GSC Game...
Nothing представила флагманский Phone (3) с матричным экраном и четвёркой 50-Мп камер за $800
Компания Nothing официально представила смартфон Phone (3) — первый флагман компании за два года. Новинка сохранила узнаваемый дизайн с прозрачной задней панелью, но при этом предложила кардинальные обновления фирменной светодиодной подсветки Glyph. Также новинка получила значительные улучшения в производительности, камерах и пользовательском опыте. Phone (3) оснащён...