24. Juni 2026
Proxy-Diskriminierung: Warum KI im Recruiting diskriminiert
Lesezeit: 16 Min.
Recruiting
Bei meinen Recherchen zur größten Sammelklage im Recruiting und für meinen letzten Artikel über die Frage, ob die KI-gestützte Jobsuche sexistisch sein kann, bin ich auf drei Studien gestoßen, die den Einsatz von KI im Recruiting in ein unbequemes Licht rücken. Die Studien erklären, warum filternde KI nicht „aus Versehen“ diskriminiert, sondern aufgrund ihrer Funktionsweise – der sogenannten Proxy-Diskriminierung. Sie zeigen, dass das deutsche Recht diesen Zusammenhang zwar kennt, aber wenig dagegen ausrichten kann. Zudem wird durch eine aktuelle Entscheidung im Fall Workday bestätigt, dass der beschriebene Mechanismus in der Praxis genauso wirkt, wie die Theorie es vorhersagt.
Diskriminierung durch KI als gravierendes Problem im Recruiting
Zusammen ergeben die drei Studien ein Bild, das ich für die laufende Debatte um den Einsatz von KI im Recruiting bemerkenswert finde: Was wir gerade als Einzelfälle vor amerikanischen Gerichten beobachten – Workday, Eightfold, Sirius XM – ist nicht das Versagen einzelner Software-Lösungen, sondern das Sichtbarwerden eines gravierenden strukturellen Problems.
Während ich an diesem Artikel arbeite, wird diese Argumentation durch ein Urteil im Fall Mobley vs. Workday gewissermaßen überrollt: Gestern, also am 22. Juni 2026 wurde der Vorwurf bestätigt, der explizit auf der Proxy-Diskriminierungstheorie aufbaut. Damit ist das, was die hier vorgestellten Studien theoretisch und empirisch beschreiben, ganz aktuell auch juristisch anschlussfähig geworden. Genau solche Ereignisse machen das Thema auch für deutsche HR-Verantwortliche, die ähnliche Systeme einsetzen, zusätzlich brisant.
Drei Studien zeigen, wie und warum KI im Recruiting diskriminiert
Die erste hier beleuchtete Studie stammt von den US-amerikanischen Rechtswissenschaftlern Anya Prince und Daniel Schwarcz und ist 2020 in der Iowa Law Review unter dem Titel “Proxy Discrimination in the Age of Artificial Intelligence and Big Data” erschienen. In ihr wird erklärt, warum KI-Systeme Stellvertreter für geschützte Merkmale suchen, sobald man ihnen diese Merkmale vorenthält.
Die zweite ist ein Rechtsgutachten der Juristen Indra Spiecker gen. Döhmann und Emanuel Towfigh aus dem Jahr 2023, erstellt im Auftrag der Antidiskriminierungsstelle des Bundes. Es prüft, ob das AGG den Herausforderungen automatisierter Entscheidungen gewachsen ist, und kommt zu einem ernüchternden Ergebnis.
Die dritte Studie ist eine im Mai 2025 im Journal of Law and Society erschienene empirische Studie der australischen Rechtswissenschaftlerin Natalie Sheard (Melbourne Law School). In der Studie werden qualitative Interviews mit australischen Recruitern ausgewertet, um zu untersuchen, wie sich Proxy-Diskriminierung in tatsächlich eingesetzten KI-Recruiting-Systemen niederschlägt.
Alle drei Studien beschreiben dasselbe Phänomen von Proxy-Diskriminierung, jedoch aus drei sich ergänzenden Perspektiven. Bereit für den Deep Dive?
Vom Redlining zum KI-Sprachmodell
Stellvertreterdiskriminierung ist nichts Neues – neu ist nur, wer sie betreibt. Ein Klassiker, den auch Prince und Schwarcz als Beispiel anführen, ist das sogenannte Redlining im US-amerikanischen Bank- und Versicherungsgeschäft der Mitte des 20. Jahrhunderts: Mehrheitlich von Afroamerikanern bewohnte Viertel wurden auf Stadtkarten rot markiert, den Anwohnern wurden dort dann Hypotheken und Policen verweigert. Offiziell ging es um angebliche Ausfallrisiken, tatsächlich handelte es sich jedoch um eine gezielte Diskriminierung der Anwohner, denn das geografische Gebiet diente als offensichtlicher Stellvertreter für die ethnische Herkunft.
Erst der Fair Housing Act von 1968 verbot diese Praxis ausdrücklich. Verdeckte Formen setzten sich aber über andere Stellvertreter wie die Postleitzahl oder die Schule fort. Auch wenn diese Praxis offiziell für illegal erklärt wurde, wirken die Folgen bis heute.

Proxy-Diskriminierung als mittelbare Benachteiligung
In dieser klassischen Lesart war Proxy-Diskriminierung eine Form der bewussten Umgehung: Eine Person wusste um den Zusammenhang zwischen Wohnviertel und Herkunft und nutzte diesen. In dieser Tradition stehen die meisten bestehenden Schutzmechanismen, so auch das deutsche Antidiskriminierungsrecht. Zwar kennt das AGG den Begriff der Proxy- oder Stellvertreterdiskriminierung nicht ausdrücklich, doch solche Konstellationen fallen unter die mittelbare Benachteiligung (§ 3 Abs. 2 AGG): Eine dem Anschein nach neutrale Vorschrift, ein Kriterium oder ein Verfahren, das Personen wegen eines geschützten Merkmals in besonderer Weise benachteiligt, ist unzulässig, es sei denn, es ist durch ein rechtmäßiges Ziel sachlich gerechtfertigt.
Prince und Schwarcz argumentieren, dass diese klassische Vorstellung in der Welt der KI nicht mehr haltbar ist. Sie ist zwar nicht falsch, setzt aber voraus, dass jemand bewusst einen Stellvertreter auswählt. Genau diesen Akteur gibt es bei KI-Systemen jedoch nicht. Eine KI trifft keine bewusste Auswahl. Vielmehr sucht sie nach allem, was die Vorhersage in irgendeiner Weise verbessert.
Big data and AI are game changers when it comes to the risk of unintentional proxy discrimination. In particular, proxy discrimination by Ais is virtually inevitable whenever the law seeks to prohibit use of characteristics whose predictive power cannot be measured more directly by facially neutral data (“directly predictive characteristics”) Quelle
Warum KI zur Stellvertreter-Diskriminierung neigt
Der entscheidende Punkt, den die Studie herausarbeitet, ist die Funktionsweise moderner Modelle. Bei klassischen statistischen Verfahren wird zunächst eine Hypothese aufgestellt: Ein Mensch vermutet einen Zusammenhang, formuliert ein Modell und prüft, ob die Daten diesen Zusammenhang bestätigen. Lernende KI-Modelle arbeiten jedoch anders. Sie haben keine Hypothese, sondern ein Ziel (die Zielvariable, etwa „wahrscheinlich erfolgreicher Mitarbeiter”) und einen Datenraum. Aus diesen Daten generieren sie selbstständig diejenigen Korrelationsmuster, die das Ziel am besten vorhersagen.
Modelle dieser Art interessieren sich nicht für Kausalität, sondern für ihre Vorhersagekraft. Dieser Unterschied geht in der Bias-Debatte regelmäßig unter. Wenn ein Merkmal “A” ein Ziel besser vorhersagt als jedes andere, dann nutzt das Modell “A”. Ganz egal, warum der Zusammenhang besteht, und ganz egal, ob das Merkmal moralisch oder rechtlich aufgeladen ist.
Das Modell sucht so lange weiter, bis es irgendwann fündig wird
Genau hier setzt der zentrale Begriff der Studie an: „directly predictive” (direkt vorhersagend). Ein geschütztes Merkmal ist demnach direkt vorhersagend, wenn es Vorhersagekraft für ein Ziel enthält, die durch andere, nicht geschützte Merkmale nicht vollständig erfasst wird.

Prince und Schwarcz zufolge ist Proxy-Diskriminierung durch KI in solchen Fällen „praktisch unausweichlich”.
Der Mechanismus lässt sich einfach erklären. Entzieht man der KI ein geschütztes Merkmal, findet sie die Vorhersagekraft eben anderswo. Aus den vielen tausend verbleibenden Variablen rekonstruiert sie das fehlende Merkmal einfach über Stellvertreter. Je größer der Datenraum ist, desto präziser ist die Rekonstruktion. Wird der naheliegende Stellvertreter verboten (etwa der explizite Familienstand), nimmt das Modell den weniger naheliegenden. Beispielsweise das Online-Verhalten, die Einkaufsmuster oder sprachliche Eigenheiten in Bewerbungstexten. Verbietet man auch diesen, weicht das Modell auf die nächsten, unauffälligeren, Kombinationen aus. Das Modell sucht so lange weiter, bis es irgendwann fündig wird. Dabei handelt es sich nicht etwa um ein Versagen, sondern um das erwartete Verhalten des Modells.
Drei Wege der Diskriminierung
Prince und Schwarcz unterscheiden drei Möglichkeiten, wie ein geschütztes Merkmal seine Vorhersagekraft entfalten kann: Es kann kausal mit dem Ergebnis verbunden sein, mit dem Ergebnis aus nicht messbaren oder unbekannten Gründen korrelieren („opak”) oder indirekt für eine andere, an sich neutrale Eigenschaft stehen, auf die das Modell keinen Zugriff hat.
Praktisch bedeutet dies, dass selbst ein technisch einwandfreies, mit hochwertigen Daten trainiertes und um geschützte Merkmale bereinigtes KI-System auf mehreren Pfaden zur Diskriminierung gelangen kann. Welcher Pfad gerade aktiv ist, lässt sich oft erst nachträglich – wenn überhaupt – rekonstruieren.
Warum „Merkmal entziehen” nicht funktioniert
„Dann nehmen wir der KI die geschützten Merkmale eben weg.“ So könnte die intuitive Antwort auf dieses Problem lauten. Prince und Schwarcz entlarven diese jedoch als unzureichend, da sie nur in einer Welt mit wenigen, übersichtlichen Variablen funktioniert. In einer Welt mit Tausenden Datenpunkten pro Person und lernenden Modellen, die selbstständig Muster bilden, ist sie nicht anwendbar.
Auch das Verbot offensichtlicher Stellvertreter wie Postleitzahl, Familienstand oder Hautfarbe hinkt immer hinterher.
Sobald ein Stellvertreter verboten wird, sucht das Modell den nächsten, der in der Regel weniger intuitiv erkennbar ist.
Eine KI, die bei Bewerbungsdaten nicht mehr nach Geschlecht oder typischen Geschlechtsmarkern filtern darf, arbeitet dann stattdessen mit Schreibstil, Wortwahl, Merkmalen des Bewerbungsfotos, Zeitpunkt der Bewerbung, verwendetem Browser, Mobilgerät oder einer beliebigen Kombination aus hunderten anderer Signale. Welcher Stellvertreter aktiv ist, weiß oft nicht einmal das Modell selbst. Es gibt also keine nachvollziehbare Erklärung. Das einzige, was das Modell weiß, ist, dass die Vorhersage damit besser wird (zumindest glaubt es das zu wissen).
Das wiederum bringt das Konzept der mittelbaren Diskriminierung an seine Grenzen: Mittelbare Diskriminierung setzt voraus, dass sich ein scheinbar neutrales Kriterium identifizieren lässt, das in seiner Wirkung auf eine geschützte Gruppe durchschlägt. Bei einem KI-System, das aus Tausenden oder sogar Milliarden interagierenden Variablen ein Vorhersagemuster destilliert, ist genau diese Identifikation der schwierigste Schritt – wenn nicht sogar unmöglich.
Recruiting als Modellfall
Prince und Schwarcz widmen dem Thema Beschäftigung ein eigenes Kapitel. Gerade im Recruiting kommen die Bedingungen für Proxy-Diskriminierung nämlich in besonders ausgeprägter Form zusammen. Geschützte Merkmale wie Geschlecht, Alter, Behinderung oder Herkunft korrelieren aus historischen und strukturellen Gründen mit beruflichem Werdegang, Bewertungsergebnissen und bestehenden Belegschaften. Wer eine KI auf Basis einer bestehenden Belegschaft trainiert, trainiert sie somit auch auf Basis der Verzerrungen dieser Belegschaft.
Der Fall Amazon
Das bisher bekannteste Beispiel ist der Recruiting-Algorithmus, mit dem Amazon ab 2014 experimentiert hat und der 2018 wieder eingestampft wurde. Das System bevorzugte männliche Bewerber, weil es auf Lebensläufen erfolgreicher Mitarbeiter aus den letzten zehn Jahren trainiert worden war. Und die waren nun einmal überwiegend männlich. Dass die KI das Geschlecht nicht direkt kannte, half nichts: Sie wertete Frauenfußball-Vereinsmitgliedschaften, Frauenhochschulen und sprachliche Muster aus weiblich konnotierten Lebensläufen ab. Stellvertreter wirken also auch dann, wenn sie niemand programmiert hat.
Workdays unfreiwillige „Selbstanzeige”
Wie der Mechanismus aus den Studien in einem realen Auswahlsystem aussieht, lässt sich ganz aktuell bei Workday verfolgen. Der HR-Tech-Anbieter ist Beklagter in der Sammelklage Mobley v. Workday, der sich über 14.000 Personen angeschlossen haben. Bemerkenswerter als die Größenordnung des Verfahrens ist allerdings ein Dokument, das Workday selbst auf seiner Website veröffentlicht hatte: die Ergebnisse eines externen Bias-Audits von 724.352 Bewerbungen bei zehn großen Workday-Kunden. Nach Berechnung der Kläger liegt die Wahrscheinlichkeit, dass die dort gemessenen Abweichungen Zufallswerte sind, bei unter eins zu einer Billiarde. Wohlgemerkt: Die zugrunde liegenden Daten stammen nicht von den Klägern, sondern von einem Auditor, den Workday selbst beauftragt hat.
Inzwischen hat man bei Workday offenbar bemerkt, dass sich diese Transparenz vor dem Hintergrund der laufenden Klage schon fast wie eine Selbstanzeige liest. Die ursprünglichen Audit-Daten sind kommentarlos von der Website verschwunden; an ihrer Stelle findet sich heute eine deutlich enger gefasste Analyse. Wer die Originalzahlen einsehen möchte, ist auf die Wayback Machine angewiesen.
Proxy-Diskriminierung am Beispiel Workday
Genau dieses Muster haben Prince und Schwarcz beschrieben: KI-Systeme im Recruiting werden auf historischen Personaldaten trainiert, also auf Entscheidungen aus einer Vergangenheit, in der etwa Frauen seltener eingestellt und ältere Bewerber häufiger abgelehnt wurden. Aus diesen Daten lernt das Modell, was als „erfolgreich“ gilt. Selbst wenn Geschlecht und Alter explizit aus dem Datensatz entfernt werden, rekonstruiert das Modell diese Merkmale aus anderen Variablen, eben über Stellvertreter. Workdays Audit-Abweichung ist deshalb alles andere als ein Betriebsunfall, sondern das zu erwartende Ergebnis dieser Funktionsweise.
Am 22. Juni 2026 hat ein US-Bundesgericht die Proxy-Diskriminierungstheorie – in diesem Fall bezogen auf Behinderung – als klagefähig anerkannt. Das Gericht bestätigte den Vorwurf einer Mitklägerin. Sie machte geltend, dass die Algorithmen von Workday Krankheitsfehlzeiten und Auszeitmuster als Stellvertreter für den Behinderungsstatus der Betroffenen genutzt hätten, ohne dies je offen zu benennen, und das Gericht ließ diesen Vorwurf zu.
Das deutsche Recht erkennt das Problem, stößt aber an Grenzen
Genau bei dem oben beschriebenen Muster setzt die zweite Studie von Spiecker und Towfigh an: In ihrem Rechtsgutachten prüfen sie das AGG systematisch auf seine Tauglichkeit gegen Diskriminierung durch automatisierte Entscheidungssysteme (die Autoren sprechen von algorithmischen Entscheidungssystemen; algorithmic decision making systems oder ADM-Systemen) und lokalisieren die rechtliche Schutzlücke genau dort, wo Prince und Schwarcz die strukturelle Lücke beschreiben.
Auf dem Papier ist das AGG durchaus anschlussfähig: § 3 Abs. 2 AGG erfasst die mittelbare Diskriminierung und damit auch Konstellationen, in denen ein scheinbar neutrales Kriterium ein geschütztes Merkmal benachteiligt. Auch wenn formal Proxy-Diskriminierung vorliegt, scheitern Betroffene in der Praxis laut dem Gutachten an der Rechtsdurchsetzung.
Das Problem der Black Box
Die Beweislast nach § 22 AGG liegt zwar nicht vollständig beim Betroffenen, der „nur” Indizien für eine Benachteiligung vorlegen muss. Doch wie sollen solche Indizien aus einer Black Box gewonnen werden, deren Funktionsweise weder dem Arbeitgeber noch dem Betroffenen selbst bekannt ist?
“Der Black-Box-Charakter der ADM-Systeme macht es für Betroffene praktisch unmöglich, den Ursachen einer Benachteiligung auf die Spur zu kommen, die gesetzlichen Beweiserleichterungen des AGG sind in ihrer jetzigen Form nicht ausreichend, diese Hürden zu überwinden.” Quelle
In der Regel weiß der Betroffene nicht einmal, dass eine KI im Spiel war, geschweige denn, welche Variablen sie gewichtet hat. Das AGG kennt zudem keine substanziellen Auskunftspflichten über die Funktionsweise eines eingesetzten Entscheidungssystems und der Adressatenkreis umfasst nur den Arbeitgeber, nicht – wie in den USA – die Anbieter und Entwickler der Systeme. Wer als Bewerber wissen will, wie das Modell „tickt”, kann sich somit nur an den Arbeitgeber wenden. Und der kann kaum die Antwort liefern, hat er die Software doch nur eingekauft, aber nicht entwickelt.
Reformvorschläge und das Vorbild USA
In ihrem Gutachten schlagen Spiecker und Towfigh eine ganze Reihe von Reformen vor:
- ein Verbandsklagerecht für Antidiskriminierungsverbände,
- umfassende Auskunfts- und Untersuchungsrechte für die Antidiskriminierungsstelle,
- eine Erweiterung der geschützten Merkmale,
- eine Anpassung der Beweislastumkehr
- eine Ausdehnung des Adressatenkreises auf Anbieter.
Dieses Maßnahmenbündel ist durchaus sinnvoll und würde die Rechtsdurchsetzung und damit die Rechte von Bewerbern deutlich stärken. Wann und ob es kommen wird?
Eine dieser Forderungen, nämlich die Ausdehnung des Adressatenkreises auf Anbieter, wird in den USA bereits seit 2024 gerichtlich vollzogen. Im Fall Mobley vs. Workday hatte das Gericht bereits damals den Anbieter als „Agent” der Arbeitgeber-Kunden in die Pflicht genommen. Am 22. Juni 2026 wurde dieses Urteil sogar noch einmal verschärft: Laut dem Gericht haftet Workday als Anbieter nun eigenständig und nicht abgeleitet über seine Arbeitgeber-Kunden. Damit setzt das US-Gericht die Forderung von Spiecker und Towfigh um, die genau eine solche Praxis für das deutsche Recht gefordert hatten. Wer will, findet eben Wege.
Das Kernproblem ist die Merkmalsanknüpfung
Doch selbst mit solchen Reformen bliebe ein Kernproblem bestehen, da das deutsche Antidiskriminierungsrecht mit Merkmalsanknüpfung arbeitet. D. h., dass ein Tatbestand erst dann greifbar wird, wenn er unmittelbar oder mittelbar an ein geschütztes Merkmal anknüpft.
Proxy-Diskriminierung durch KI funktioniert jedoch so, dass diese Anknüpfung verschleiert wird. Das geschieht nicht, wie bereits oben beschrieben, durch Absicht, sondern ist systemimmanent. Ein modernes KI-System leitet das geschützte Merkmal nicht aus einer einzelnen Variable ab, sondern aus dem Zusammenspiel vieler – oft hunderter – kleiner Signale. Selbst eine wohlmeinende Aufsicht hätte also Mühe, diese Signale als konkrete Anknüpfungspunkte zu identifizieren. Salopp gesagt: Selbst die richtigen Aufklärungswerkzeuge würden das deutsche Recht hier an seine Grenze führen, da es einen klaren Anknüpfungspunkt braucht. Aber genau den löst die KI auf.
Sind die Proxy-Studien nicht überholt?
An dieser Stelle stellt sich eine berechtigte Frage: Die Prince-Studie stammt aus dem Jahr 2020, das Spiecker-Gutachten aus dem Jahr 2023. Wir schreiben nun das Jahr 2026 und in dieser Zeit hat sich KI dramatisch weiterentwickelt. Sind die Befunde da überhaupt noch aktuell? Hat die Branche das Problem nicht längst gelöst? Der Fall Workday liefert eine direkte Antwort auf diese Frage: Nein, im Gegenteil. Dass es mit der Proxy-Diskriminierung sogar noch schlimmer geworden ist, zeigt auch eine weitere empirische Studie.
Denn das Argument von Prince und Schwarcz hängt nicht davon ab, wie mächtig ein Modell ist, sondern davon, was das Modell tut. Ein System, das aus Korrelationen Vorhersagen ableitet, macht das auch im Jahr 2026. Und das sogar deutlich effizienter. Denn mehr Datenraum bedeutet mehr potenzielle Stellvertreter, bessere Mustererkennung bedeutet feinere Stellvertreter und größere KI-Modelle bringen die gesellschaftlichen Vorurteile ihrer Trainingsdaten mit. Dabei handelt es sich meist um Daten aus dem Internet, in denen bestehende Verzerrungen deutlich sichtbar werden. Der technische Fortschritt macht das Problem also nicht kleiner, sondern die Stellvertreter unsichtbarer – und damit das Problem sogar größer.
Juristisch ist die Frage seit dem Mobley-Urteil vom 22. Juni 2026 ohnehin beantwortet. Was vor wenigen Wochen noch reine Studienlage war, ist heute Gegenstand eines Prozesses vor einem US-Bundesgericht. Wer das Ganze also im Jahr 2026 noch als „theoretisches Konstrukt“ und „bedauerlichen Einzelfall“ abtut, ignoriert, dass die Theorie als plausibel genug erachtet wird, um vor Gericht zu landen.
KI ist gut darin, Stellvertreter zu identifizieren
Genau diese Problematik hat auch Natalie Sheard im Jahr 2025 empirisch belegt. Anhand qualitativer Interviews mit australischen Recruitern, die KI-gestützte Recruiting-Systeme einsetzen, zeigt sie, welche Proxys in der Praxis tatsächlich eine Rolle spielen:
- Beschäftigungslücken dienen als Stellvertreter für Geschlecht und Behinderung,
- Native Speaker als Stellvertreter für Herkunft,
- Notendurchschnitt als Stellvertreter für soziale Klasse
- Geografische Filter und besuchte Bildungseinrichtungen als Stellvertreter für Herkunft und Klasse.
Ein interviewter KI-Entwickler bringt es so auf den Punkt: Es reiche nicht aus, geschützte Merkmale einfach zu entfernen, da KI „besonders gut darin ist, diese Stellvertreter zu identifizieren”.
[…] the use of proxy variables poses the greatest risk of algorithm-facilitated discrimination […} Quelle
Damit deckt sich Sheards Befund exakt mit dem, was Prince und Schwarcz fünf Jahre zuvor theoretisch hergeleitet hatten. Auch andere Arbeiten zeigen dasselbe Phänomen, ohne den Begriff der Proxy-Diskriminierung explizit zu verwenden. Beispiele hierfür sind eine Studie der Brookings Institution, die starke Verzerrungen zugunsten männlicher und weiß-assoziierter Namen fand, sowie eine in Nature publizierte Stanford-Studie, die zeigte, dass ChatGPT-generierte Lebensläufe trotz identischer Ausgangsinformationen für ältere Männer am höchsten bewertet wurden.
EU AI Act: Ab August 2026 wird Recruiting-KI Hochrisiko
Was der deutsche Gesetzgeber bislang versäumt hat, regelt nun die EU – zumindest auf dem Papier. Der EU AI Act stuft KI-Systeme, die Bewerbungen filtern, bewerten oder klassifizieren, ab dem 2. August 2026 als Hochrisiko ein. Das bedeutet eine Transparenzpflicht gegenüber Bewerbern, ein dokumentiertes Risikomanagement, eine menschliche Aufsicht und eine Konformitätsbewertung durch zertifizierte Stellen.
Dabei handelt es sich nicht um eine Selbstverpflichtung, sondern um eine gesetzliche Pflicht, die mit Bußgeldern von bis zu 15 Millionen Euro oder drei Prozent des weltweiten Jahresumsatzes geahndet wird. Wer KI im Recruiting einsetzt, hat ab August somit nicht nur ein Diskriminierungs- und Reputationsrisiko, sondern auch ein konkret bezifferbares Bußgeldrisiko.
Was das für Recruiting-Verantwortliche heißt
Wer im HR ein KI-System einsetzt, das Bewerbungen filtert, bewertet oder priorisiert, übernimmt Verantwortung für Ergebnisse, die er nicht ansatzweise vollständig kontrollieren kann. Anbieter-Versprechen à la „Wir haben alle geschützten Merkmale entfernt“ sind, wie die hier dargestellten Studienergebnisse eindrücklich zeigen, nicht ausreichend. Zudem sind Bias-Audits lediglich Stichprobenmessungen und keine Beweise, insbesondere nicht für selbstlernende Systeme, die schon morgen andere Stellvertreter „ausbilden“ können als heute.
Was der Workday-Fall sichtbar macht
Was derzeit vor amerikanischen Gerichten verhandelt wird, ist das Sichtbarwerden eines Mechanismus, der in der Architektur der KI selbst angelegt ist. Workdays eigene Audit-Daten sind nicht etwa ein bedauerlicher Einzelfall oder Betriebsunfall, sondern die empirisch belegbare Konsequenz einer Funktionsweise, die Diskriminierung als systemimmanentes Ergebnis erzeugt – und nicht als Fehler.
Wie das AGG-Gutachten zeigt, ist das deutsche Recht auf diese Entwicklung nicht ausreichend vorbereitet, und auch der EU AI Act wird die grundsätzliche Frage nicht beantworten können, sondern bringt sie lediglich ins Bewusstsein der Verantwortlichen. Die sich daraus ergebende Frage ist ohnehin eine andere:
Wo lassen wir KI entscheiden – und wo lassen wir sie nur unterstützen?
Peter Kolb
personalmarketing2null