Ein Modell zur Personalauswahl kann lernen, fair zu klingen, ohne faire Bewertungen vorzunehmen. Die Forschung von Tristan Botelho, Professor an der Yale School of Management, beschreibt, wie Sprachmodelle bei der Bewertung von Bewerbenden Hinweise auf ethnische Zugehörigkeit und Geschlecht berücksichtigen können, selbst wenn ihre abschließenden Empfehlungen neutral wirken.
Neutrale Formulierungen sind nicht dasselbe wie eine neutrale Beurteilung
Die Forschenden bezeichnen dieses Muster als „symbolische Einhaltung von Normen“. Ein Modell vermeidet offen diskriminierende Sprache, doch seine zugrunde liegende Bewertung kann weiterhin von demografischen Signalen geprägt sein.
Dieser Unterschied ist wichtig. Eine Empfehlung auf voreingenommene Formulierungen zu prüfen, kann einem Arbeitgeber zeigen, ob das Modell etwas Problematisches gesagt hat. Für sich genommen kann dies jedoch nicht zeigen, ob Bewerbende aus verschiedenen demografischen Gruppen vergleichbare Bewertungen erhalten haben.
Die Problematik ist besonders schwer zu untersuchen, weil viele Unternehmen nicht erklären, wie sie KI bei der Personalauswahl oder der Bewertung von Bewerbenden einsetzen. Botelho hat die Frage aufgeworfen, ob Modelle tatsächlich unverzerrte Auswahlentscheidungen treffen können, wenn ihr Einsatz und ihre Entscheidungsprozesse undurchsichtig sind.
Was die Sicherheitsausrichtung zeigen kann und was nicht
Einige Entwickler nutzen eine Kalibrierung nach dem Training, oft als Sicherheitsausrichtung bezeichnet, um voreingenommene Antworten zu sanktionieren. Dadurch kann es unwahrscheinlicher werden, dass ein Modell explizit diskriminierende Ausgaben erzeugt. Die Forschung wirft die Frage auf, ob die Kalibrierung auch seine Bewertungen fairer macht oder vor allem dafür sorgt, dass Verzerrungen im endgültigen Text weniger sichtbar sind.
Das sind unterschiedliche Ergebnisse. Eine sorgfältig formulierte Empfehlung lässt sich womöglich leichter veröffentlichen, doch geschliffene Sprache ist kein Beleg dafür, dass das Modell Bewerbende gleich behandelt hat. Die Forschenden wollen nicht sagen, dass neutrale Formulierungen beweisen, dass ein System voreingenommen ist. Vielmehr können neutrale Formulierungen allein nicht das Gegenteil beweisen.
Ein bekanntes Problem mit einem weniger offensichtlichen Signal
Die Problematik erinnert an Amazons aufgegebene KI zur Personalrekrutierung. Im Jahr 2018 stellte das Unternehmen das System ein, nachdem es festgestellt hatte, dass es Lebensläufe mit dem Wort „women“ systematisch schlechter bewertete. Dieses Versagen war vergleichsweise gut erkennbar: Das Problem ließ sich daran erkennen, wie das System einen bestimmten Begriff behandelte.
Botelhos Arbeit lenkt die Aufmerksamkeit auf eine Möglichkeit, die schwerer zu erkennen ist. Ein Sprachmodell könnte offenkundig diskriminierende Formulierungen vermeiden, während demografische Hinweise seine Bewertung weiterhin beeinflussen. Ein Arbeitgeber, der lediglich nach unzulässigen Begriffen sucht, könnte deshalb Unterschiede darin übersehen, wie Bewerbende bewertet werden.
Die Bewertung prüfen, nicht nur den Text
Die Forschenden argumentieren, dass Fairness-Prüfungen untersuchen sollten, wie empfindlich ein Modell auf personenbezogene Merkmale reagiert, und die Ergebnisse über demografische Gruppen hinweg vergleichen sollten. In der Praxis bedeutet das, zu fragen, ob sich eine Bewertung ändert, wenn sich demografische Signale ändern, statt eine sauber formulierte Empfehlung als bestandenen Test zu werten.
Ein aussagekräftiges Audit muss über die vom Modell ausgegebenen Worte hinausgehen. Wenn seine Bewertung von Gruppe zu Gruppe variiert, beseitigt neutrale Sprache diesen Unterschied nicht. Und wenn Arbeitgeber nicht nachvollziehen können, wie ein Modell zur Personalauswahl zu seinen Urteilen gelangt, haben sie weniger Anlass, seinen ruhigen Ton als Beleg für Fairness zu betrachten.
Die unbequeme Erkenntnis ist einfach: Ein Modell kann einen Sprachtest bestehen und dennoch bei der Entscheidung scheitern, auf die es ankommt.