Ein Schritt vor, zwei zurück: Warum Künstliche Intelligenz derzeit vor allem die Vergangenheit [...]

Das ist der Job

Dieser Blogartikel beleuchtet, warum KI-Systeme oft alte Muster reproduzieren, statt fortschrittliche Lösungen zu entwickeln. Das narrative Machtgefälle entsteht, weil die Teams, die KI entwickeln, häufig nicht divers sind.

Darum lohnt es sich

Künstliche Intelligenz (KI) wird von vielen als Technologie der Zukunft gefeiert, doch blickt sie selbst vor allem in die Vergangenheit. Obwohl dieser Punkt noch weit in der Zukunft liegt, setzen staatliche und nicht-staatliche Akteure große Hoffnungen in KI-gesteuerte, vermeintlich effizientere und optimierte Prozesse.

Diese Algorithmen analysieren historische Daten, um darin Muster zu erkennen und nutzen diese, um für uns die Zukunft zu prognostizieren.

Ein Beispiel: Wenn ein KI-System für Jobbewerbungen auf historischen Daten basiert, die hauptsächlich von einer bestimmten Bevölkerungsgruppe stammen (zum Beispiel weiß und cis-männlich), bevorzugt das System möglicherweise ähnliche Kandidaten in Zukunft. Machtgefälle und Perspektiven im KI-Diskurs – Wer genau imaginiert eigentlich die Zukunft?

Dabei besteht ein Ungleichgewicht: Bestimmte Geschichten und Perspektiven dominieren die Entwicklung, Implementierung und Nutzung von KI-Technologie. In der aktuellen Technologielandschaft dominieren oft große Tech-Unternehmen und Akteure aus dem globalen Norden die KI-Erzählung.

Wenn hauptsächlich weiße , cis-männliche Perspektiven aus ressourcenstarken Regionen in die Entwicklung einfließen, bleiben andere Perspektiven und Bedürfnisse unberücksichtigt. Das führt dazu, dass alte Ungleichheiten nicht nur bestehen bleiben, sondern auch in die Zukunft projiziert werden.

Dadurch entsteht ein Teufelskreis, in dem die Vergangenheit die Zukunft bestimmt und soziale Ungleichheiten weiter zementiert oder im schlimmsten Fall sogar verstärkt werden. Der Diskurs über die politische Regulierung von Künstlicher Intelligenz hinkt oft der schnellen Entwicklung der Technologie hinterher.

Das Gesetz folgt einem risikobasierten Ansatz, um zu gewährleisten, dass der Einsatz KI-basierter Systeme keine negativen Auswirkungen auf die Sicherheit, Gesundheit und Grundrechte von Menschen hat. Es gibt aber auch hier Ausnahmen im Kontext der „nationalen Sicherheit“ (AI Act 2024, Artikel 2).

Gleichzeitig sollte aber auch die Vielfalt in den Entwicklungsteams gefördert werden, um einseitige Vorurteile zu verhindern. Hier entsteht ein spannendes Paradoxon und ein weiterer Abzweig in der intersektionalen feministischen Kritik. Welche Rolle spielen historische Daten bei den Vorhersagen und Entscheidungen von KI?

Wie werden bestehende Ungleichheiten und die Benachteiligung von Menschen in unserer Gesellschaft durch KI-Systeme vertieft – und was bedeutet das für die soziale Gerechtigkeit?

Der zunehmende Einsatz von KI in vielen Bereichen unseres Alltags hat den Diskurs um die vermeintliche Allmacht der Maschine angeheizt. [i] Die Versprechen schwanken zwischen einem wahren Hype um die problemlösenden Assistenten und der dystopischen Vorstellung, diese könnten den Menschen irgendwann ersetzen .

Künstliche Intelligenz begegnet uns überall im Alltag, zum Beispiel wenn sie uns ohne Umwege zum Ziel führt oder unsere Mails vorsortiert. Was viele allerdings nicht wissen ist, dass sie zunehmend auch eingesetzt wird, um auf verschiedenen gesellschaftlichen Ebenen Vorhersagen über zukünftige Ereignisse zu treffen.

Von der Wettervorhersage über den Finanzmarkt bis hin zur medizinischen Diagnose versprechen KI-Systeme eine präzisere Vorhersage und bessere Entscheidungsfindung. Diese Vorhersagen basieren auf historischen Trainingsdatensätzen, die den KI-Technologien zugrunde liegen und auf deren Basis sie arbeiten.

Genauer gesagt: Viele KI-Systeme gründen auf Algorithmen des maschinellen Lernens. Das bedeutet jedoch im Umkehrschluss, dass die oft angenommene Neutralität oder das Gefühl der Objektivität von KI-Systemen eine Illusion ist .

In Wirklichkeit neigen derzeitige KI-Systeme, besonders aufgrund unzureichender und lückenhafter Trainingsdaten dazu, vergangene Muster zu reproduzieren. Dadurch festigen sie schon bestehende soziale Ungleichheiten und Machtgefälle.

Dadurch werden bestehende Ungleichheiten auf dem Arbeitsmarkt verstärkt und marginalisierte Gruppen wie BIPoC, weiblich gelesene Personen/Frauen*, FLINTA/LGBTIQA+ weiter benachteiligt.

Der Diskurs um Künstliche Intelligenz ist eng mit gesellschaftlichen Macht- und Herrschaftsverhältnissen und der Frage verbunden, wer die Deutungshoheit über diesen Diskurs hat. Diese Dominanz hat tiefgreifende Auswirkungen auf die Art und Weise, wie KI wahrgenommen, verstanden und eingesetzt wird.

Wer also die Geschichte erzählt und das Narrativ kontrolliert, hat auch die Macht, die öffentliche Meinung über KI zu lenken und zu formen. Für dieses sogenannte narrative Machtgefälle im Diskurs um KI gibt es mehrere Gründe. Diese Akteure haben die Ressourcen und die Macht, ihre Perspektiven und Interessen in den Vordergrund zu stellen.

Das führt dazu, dass andere Stimmen, insbesondere aus marginalisierten oder minorisierten Gruppen, unterrepräsentiert bleiben und nicht ausreichend gehört werden. Hinzu kommt die Art und Weise, wie KI medial in der Öffentlichkeit dargestellt wird.

Hier wird KI oft vereinfacht erklärt , was der Komplexität der realen Auswirkungen von KI auf die Gesellschaft keinesfalls gerecht wird.

Ein Beispiel sind KI-Systeme zur Bewertung von Kreditwürdigkeit einzelner Menschen: Diese Algorithmen basieren häufig auf historischen Daten, die von Bevölkerungsgruppen dominiert werden, die bereits Zugang zu Krediten hatten, wie weiße, cis-männliche Personen aus wirtschaftlich starken Regionen.

Dadurch werden Menschen aus marginalisierten Gruppen, wie Frauen, People of Colour oder Menschen aus einkommensschwachen Gegenden, systematisch benachteiligt . Ihre Anträge werden seltener genehmigt, weil die historischen Daten ihre Bedürfnisse und finanziellen Realitäten nicht widerspiegeln.

Dies verstärkt wirtschaftliche Ungleichheiten und fördert ein Machtgefälle zugunsten ohnehin bereits privilegierter Gruppen. Gleiches gilt für die Regulierung und Governance von KI: diejenigen, die die Macht haben, Gesetze und Richtlinien zu erlassen, bestimmen, wie KI reguliert werden sollte.

Vergangenheit als Prophezeiung: Alte Muster und verzerrte Daten Wie bereits erwähnt basieren KI-Systeme oft auf historischen Daten, die von bestehenden Machtverhältnissen und sozialen Ungleichheiten geprägt sind. Diese Verzerrungen werden von den Systemen übernommen und in ihre Vorhersagen eingebaut.

Die Verwendung von KI-basierten Vorhersagesystemen führt so zu selbsterfüllenden Prophezeiungen, in denen bestimmte Gruppen bevorzugt oder benachteiligt werden , weil sie historisch immer schon bevorzugt oder benachteiligt wurden. Regeln für KI: Wo steht die EU?

Die Europäische Union hat schließlich nach langen Verhandlungsrunden den AI Act auf den Weg gebracht . Sowohl UNESCO , als auch EU haben schon vor einigen Jahren auf die Risiken beim Einsatz von KI in (sensiblen) gesellschaftlichen Bereichen hingewiesen.

Laut Europäischer Kommission könnten KI-Systeme die Werte der EU gefährden und Grundrechte wie Meinungsfreiheit, Nichtdiskriminierung und Schutz personenbezogener Daten beeinträchtigen. Sie schreibt: „Durch den Einsatz von KI können die Werte, auf die sich die EU gründet, gefährdet und Grundrechte verletzt werden.

Dazu gehören die Meinungsfreiheit, die Vereinigungsfreiheit, die Achtung der Menschenwürde, die Nichtdiskriminierung aus Gründen des Geschlechts, der Rasse oder der ethnischen Herkunft, der Religion oder der Weltanschauung, einer Behinderung, des Alters oder der sexuellen Ausrichtung, der Schutz personenbezogener Daten und der Privatsphäre, das Recht auf einen wirksamen Rechtsbehelf und ein faires Verfahren sowie der Verbraucherschutz.“ ( Europäische Kommission 2020:11 ) Die UNESCO betont zudem, dass geschlechtsspezifische Stereotypen und Diskriminierung in KI-Systemen vermieden und aktiv bekämpft werden müssen ( UNESCO 2021:32 ).

Dafür startete die UNESCO 2022 das Projekt "Women for Ethical AI", um Geschlechtergerechtigkeit in die KI-Agenda zu integrieren. Auch das UN AI Advisory Board fordert eine gemeinwohlorientierte KI und hebt Gender als wichtiges Querschnittsthema hervor.

In Deutschland hingegen fehlen aktuell noch konkrete Regelungen zur Vermeidung algorithmischer Diskriminierung in diesem Bereich. Hier müsste insbesondere das Allgemeine Antidiskriminierungsgesetz (AGG) angepasst werden.

Mit dem Artificial Intelligence Act hat die Europäische Union nun einen bedeutsamen Schritt in Richtung KI-Regulierung unternommen. Doch spezifische Regelungen zur Geschlechtergleichstellung sind bisher nicht fest verankert.

Die jeweiligen gesetzlichen Auflagen hängen von dem jeweiligen Risikopotential eines KI-Systems ab: Inakzeptabel risikoreiche Systeme sind verboten, Hochrisiko-Systeme unterliegen bestimmten Regeln und risikoarme KI-Systeme sind keinen Auflagen unterworfen.

Einige Anwendungen zum sogenannten Social Scoring und Predictive Policing sollen dadurch verboten werden. Social Scoring bezeichnet die Bewertung von Individuen anhand ihrer persönlichen Daten wie Kreditverhalten, Verkehrsverstößen oder sozialem Engagement, um ihren Zugang zu bestimmten Dienstleistungen oder Privilegien zu steuern.

Predictive Policing hingegen nutzt KI, um auf Basis von Datenanalysen potenzielle zukünftige Straftaten vorherzusagen und präventive Maßnahmen zu ergreifen. Beide Praktiken stehen in der Kritik, da sie zu Diskriminierung, Verletzung der Privatsphäre und sozialer Kontrolle führen können.

Lücken im AI Act Kritische Stimmen wie Algorithm Watch bemängeln deshalb, dass der AI Act zwar den Einsatz von Gesichtserkennung durch Strafverfolgungsbehörden an öffentlichen Orten einschränke, allerdings auch eine Menge Schlupflöcher enthalte ( Vieth-Ditlmann/Sombetzki 2024 ).

Ebenso wird die Anerkennung der Gefahr durch „(unfaire) Verzerrung“ im Gesetzestext an vielen Stellen genannt, jedoch wenig konkret adressiert. So tauchen Geschlecht, race und weitere Aspekte als Diskriminierungskategorien auf.

Ein konkreter Aufruf zur Verhinderung von Verzerrungen (sogenannte Biases) in Datensätzen und Ergebnissen findet sich aber nur in Artikel 10 in den Absätzen 2f) und 2g) im Hinblick auf sogenannte Hochrisiko-Systeme. Dort werden “geeignete Maßnahmen” zur Erkennung, Verhinderung und Abschwächung möglicher Biases gefordert.

Die Frage, was diese „geeignete Maßnahmen“ sind, wird allerdings erst die Rechtsanwendung zeigen können. Eine entsprechende Definition steht – auch mit Blick auf die stark unterschiedlichen Systeme – noch aus. Welche Schlüsse lassen sich an dieser Stelle aus der Regulierungsdebatte ziehen?

Um zu verhindern, dass diskriminierende Praktiken in KI-Technologien übertragen werden, muss der Fokus auf Datensätzen liegen, die die gesamte Gesellschaft abbilden. Der AI Act legt das in Artikel 10, Absatz 3 nur vage fest.

Dort steht, dass die Daten “hinreichend repräsentativ und im Hinblick auf den beabsichtigten Zweck so weit wie möglich fehlerfrei und vollständig” sein müssen. Diese Vorgaben bieten jedoch Spielraum für unterschiedliche Auslegungen. Eine mögliche Lösung besteht zum Beispiel darin, synthetische Daten zu verwenden .

Dabei handelt es sich um künstlich erzeugte Informationen, die reale Daten simulieren , um Lücken im Datensatz zu schließen und Datenschutzprobleme zu vermeiden. Ob der AI Act hier die erhoffte Wirkung entfaltet, wird sich erst in der Praxis zeigen.

The God Trick [ii] Die EU und andere Regulierungsbehörden haben zwar erkannt, dass Daten repräsentativ sein müssen, aber das allein reicht nicht aus.

Denn das Problem ist zweifach: Einerseits fehlen oft wichtige Datenpunkte marginalisierter Gruppen in den Trainingsdatensätzen, andererseits sind diese Gruppen in bestimmten gesellschaftlichen Bereichen, wie etwa der Vergabe von Sozialleistungen, überproportional stark vertreten.

Es sind nicht nur fehlende Datenpunkte, sondern auch die übermäßige Einbindung von Daten marginali