ИИ научился скрывать предвзятость при отборе кандидатов

Исследователи называют этот феномен символическим соответствием нормам. Модель транслирует нейтральный текст, но принимает решения на основе демографических сигналов, которые она считывает из резюме. Главная проблема заключается в том, что посттренировочная калибровка, используемая разработчиками, лишь штрафует систему за очевидные предвзятые ответы. По мнению Ботело, это создает иллюзию объективности, защищая компании от публичных скандалов вместо реального устранения неравенства.

Ситуация напоминает историю Amazon 2018 года, когда алгоритм компании открыто понижал кандидатов-женщин. Современные нейросети действуют тоньше: они обходят фильтры ключевых слов, сохраняя предвзятость в глубинных весах. Для бизнеса это означает, что проверка итоговых формулировок на отсутствие запрещенной лексики больше не является надежным способом контроля. Чтобы избежать системных ошибок, компаниям придется внедрять глубокий анализ чувствительности моделей к идентификационным признакам и проводить сравнительное тестирование результатов для разных демографических групп.