Модель для подбора персонала может научиться формулировать ответы так, чтобы они звучали беспристрастно, не давая при этом беспристрастных оценок. Исследование профессора Йельской школы менеджмента Тристана Ботелью описывает, как языковые модели могут учитывать признаки, указывающие на расу и пол, при оценке кандидатов, даже когда их итоговые рекомендации выглядят нейтральными.
Нейтральные формулировки — не то же самое, что беспристрастная оценка
Исследователи называют эту закономерность «символическим соблюдением норм». Модель избегает откровенно дискриминационных формулировок, но на саму оценку по-прежнему могут влиять демографические признаки.
Это различие важно. Проверка рекомендации на предвзятые формулировки может показать работодателю, сказала ли модель что-то неприемлемое. Но сама по себе она не может показать, получили ли кандидаты из разных демографических групп сопоставимые оценки.
Проверить эти опасения особенно трудно, поскольку многие компании не объясняют, как они используют ИИ при найме или оценке кандидатов. Ботелью ставит под сомнение способность моделей делать действительно непредвзятый выбор, когда их применение и процессы принятия решений непрозрачны.
Что может и чего не может показать согласование с требованиями безопасности
Некоторые разработчики используют калибровку после обучения, часто называемую согласованием с требованиями безопасности, чтобы штрафовать модель за предвзятые ответы. Это может снизить вероятность того, что модель будет выдавать явно дискриминационные ответы. Исследование поднимает вопрос: делает ли такая калибровка оценки модели более справедливыми или главным образом делает предвзятость менее заметной в итоговом тексте?
Это разные результаты. Тщательно сформулированную рекомендацию, возможно, проще опубликовать, но отшлифованный текст не доказывает, что модель одинаково относилась к кандидатам. Исследователи не утверждают, что нейтральные формулировки доказывают предвзятость системы. Их мысль в том, что одни лишь нейтральные формулировки не могут доказать обратное.
Знакомая проблема с менее очевидным сигналом
Эта проблема напоминает историю ИИ-системы для подбора персонала, от которой отказалась Amazon. В 2018 году компания отказалась от системы, обнаружив, что та систематически занижала оценки резюме, содержащих слово «women». Этот сбой было сравнительно легко выявить: проблему можно было заметить по тому, как система обрабатывала конкретный термин.
Работа Ботелью смещает внимание к возможности, которую труднее заметить. Языковая модель может избегать откровенно дискриминационных формулировок, хотя демографические признаки по-прежнему влияют на ее оценку. Поэтому работодатель, который ищет только запрещенные термины, может не заметить различий в оценке кандидатов.
Проводите аудит оценок, а не только текста
Исследователи считают, что проверки на справедливость должны изучать чувствительность модели к идентифицирующим признакам и сравнивать результаты для разных демографических групп. На практике это означает проверять, меняется ли оценка при изменении демографических признаков, а не считать проверку пройденной только потому, что рекомендация сформулирована корректно.
Чтобы аудит был полезен, он должен выходить за рамки анализа слов, которые выдает модель. Если оценки модели различаются между группами, нейтральные формулировки не устраняют это различие. А если работодатели не могут увидеть, как модель для подбора персонала приходит к своим выводам, у них меньше оснований считать ее спокойный тон свидетельством беспристрастности.
Неприятный вывод прост: модель может пройти языковой тест и при этом не справиться с принятием решения, которое действительно важно.