Die Europäische Union (EU) muss gefährliche, KI-gestützte Technologien in der KI-Verordnung (künstliche Intelligenz, englisch: AI-Act/Artificial Intelligence Act) verbieten, so Amnesty International heute. Die EU will im Herbst das erste umfassende KI-Regelwerk der Welt verabschieden.
Zahlreiche Staaten auf der ganzen Welt setzen unregulierte KI-Systeme ein, um Ansprüche auf Sozialleistungen zu bewerten, den öffentlichen Räum zu überwachen oder die Wahrscheinlichkeit zu ermitteln, dass jemand ein Verbrechen begeht. Diese Technologien werden oft als “technische Lösungen” für strukturelle Probleme wie Armut, Sexismus und Diskriminierung gebrandmarkt. Sie nutzen sensible und oft schwindelerregende Datenmengen, die in automatisierte Systeme eingespeist werden. Diese Systeme entscheiden dann, ob Personen eine Wohnung, Sozialleistungen, Gesundheitsfürsorge und Bildung erhalten oder nicht – oder sogar wegen einer Straftat angeklagt werden.
Doch anstatt gesellschaftlicher Probleme zu lösen, verstärken viele KI-Systeme Rassismus und Ungleichheiten eklatant und erhalten Menschenrechtsverletzungen und Diskriminierung aufrecht.
Diese Systeme werden nicht eingesetzt, um den Zugang der Menschen zu Sozialleistungen zu verbessern, sondern um Kosten zu senken. Und wenn es bereits systemischen Rassismus und Diskriminierung gibt, verstärken diese Technologien den Schaden für marginalisierte Gemeinschaften in viel größerem Ausmaß und schneller
Mher Hakobyan, Advocacy Advisor von Amnesty International für die Regulierung von künstlicher Intelligenz (KI)
„Anstatt sich unverhältnismäßig stark auf die 'existenziellen Bedrohungen' durch KI zu konzentrieren, sollten die EU-Gesetzgeber*innen Gesetze formulieren, die sich mit den bestehenden Problemen befassen, etwa mit der Tatsache, dass diese Technologien für klar diskriminierende Entscheidungen eingesetzt werden, die den Zugang zu grundlegenden Menschenrechten untergraben.“, so Hakobyan weiter.
Im Jahr 2021 dokumentierte Amnesty International, wie ein von den niederländischen Steuerbehörden eingesetztes KI-System rassistische Profile von Empfänger*innen von Kinderbetreuungsleistungen erstellt hatte. Das System sollte feststellen, ob Leistungsanträge echt oder betrügerisch waren, bestrafte aber zu Unrecht Tausende von Eltern mit niedrigem Einkommen und Migrationshintergrund und stürzte sie in exorbitante Schulden und Armut.
Batya Brown, die vom niederländischen Kinderbetreuungssystem fälschlicherweise des Leistungsbetrugs beschuldigt wurde, sagte, die niederländischen Steuerbehörden hätten von ihr die Rückzahlung von Hunderttausenden von Euro verlangt. Sie geriet in ein Netz aus Bürokratie und finanzieller Angst. Auch Jahre später ist die Gerechtigkeit noch nicht in Sicht.
Es war so seltsam. Ich bekam einen Brief, in dem stand, dass ich zu Unrecht Kinderbetreuungsgeld erhalten hätte. Und ich dachte: 'Wie kann das sein?‘ Ich war Anfang 20. Ich wusste nicht viel über die Steuerbehörden. Ich fand mich in dieser Welt der Bürokratie wieder. Ich sah einfach, wie mir alles entglitt.
Batya Brown, fälschlicherweise des Leistungsbetrugs beschuldigt
„Seitdem wir als Opfer des, wie ich es nenne, 'Sozialleistungsverbrechens' anerkannt wurden, werden wir selbst vier Jahre später immer noch wie eine Nummer behandelt.”, so Batya Brown.
„Der niederländische Kinderbetreuungsgeld-Skandal muss den EU-Gesetzgeber*innen als Warnung dienen. Der Einsatz von KI-Systemen zur Einschätzung grundlegender Leistungen kann zu verheerenden Folgen für marginalisierte Gemeinschaften führen. Soziale Scoring-, Profiling- und Risikobewertungssysteme müssen im KI-Gesetz verboten werden, unabhängig davon, ob sie zur Überwachung von Sozialhilfeempfänger*innen, zur ‚Vorhersage‘ der Wahrscheinlichkeit, ein Verbrechen zu begehen, oder zur Entscheidung über Asylanträge eingesetzt werden”, sagte Mher Hakobyan.
Unter dem Deckmantel der „nationalen Sicherheit“ werden Gesichtserkennungssysteme zu einem bevorzugten Instrument für Regierungen, die versuchen, Einzelpersonen übermäßig zu überwachen. Die Strafverfolgungsbehörden setzen diese Systeme im öffentlichen Raum ein, um Personen zu identifizieren, die möglicherweise eine Straftat begangen haben, obwohl das Risiko einer unrechtmäßigen Verhaftung besteht.
„Der*Die Gesetzgeber*in muss nicht nur für ein vollständiges Verbot der Gesichtserkennung in der EU sorgen, sondern auch dafür, dass diese und andere hochproblematische Technologien, die in der EU verboten sind, nicht in der EU hergestellt werden, nur um in Länder exportiert zu werden, in denen sie für schwere Menschenrechtsverletzungen eingesetzt werden. Die EU und die Mitgliedstaaten sind nach internationalem Recht verpflichtet, dafür zu sorgen, dass Unternehmen in ihrem Hoheitsgebiet nicht von Menschenrechtsverletzungen profitieren, indem sie Technologien exportieren, die zur Massenüberwachung und rassistischen Polizeiarbeit eingesetzt werden", so Mher Hakobyan.
Der*Die Gesetzgeber*in muss rassistische Profiling- und Risikobewertungssysteme verbieten, die Migrant*innen und Asylwerber*innen als „Bedrohung“ einstufen.Außerdem sollten auch Prognosetechnologien verboten werden, die eingesetzt werden, um Grenzbewegungen vorherzusagen und Menschen das Recht auf Stellung eines Asylantrags zu verweigern.
Jedes Mal, wenn du einen Flughafen passierst, jedes Mal, wenn du eine Grenze überquerst, jedes Mal, wenn du dich um einen Arbeitsplatz bewirbst, bist du den Entscheidungen dieser Modelle ausgesetzt. Wir müssen nicht gleich über Terminator oder Matrix reden, damit diese Bedrohungen existenziell sind. Für die Menschen ist es existenziell, wenn sie ihre Lebenschancen und ihre Lebensgrundlage verlieren.
Alex Hanna, Forschungsdirektorin am Distributed AI Research Institute (DAIR)
Die großen Technologieunternehmen setzen sich dafür ein, Schlupflöcher in die Risikoklassifizierung der KI-Verordnung einzubringen, die es den Technologieunternehmen ermöglichen würden, selbst zu bestimmen, ob ihre Technologien als „hochriskant“ eingestuft werden sollten.
„Es ist von entscheidender Bedeutung, dass die EU eine Gesetzgebung zur KI verabschiedet, die die Menschenrechte schützt und fördert. Wenn man großen Technologieunternehmen die Befugnis zur Selbstregulierung einräumt, untergräbt man ernsthaft die Hauptziele des KI-Gesetzes, einschließlich des Schutzesvor Menschenrechtsverletzungen. Die Lösung ist sehr einfach – man sollte zum ursprünglichen Vorschlag der Europäischen Kommission zurückkehren, der eine klare Liste von Szenarien enthält, in denen der Einsatz eines KI-Tools als risikoreich eingestuft wird“, sagte Mher Hakobyan.
Amnesty International fordert als Teil einer Koalition zivilgesellschaftlicher Organisationen unter der Leitung des European Digital Rights Network (EDRi) eine EU-Regelung für künstliche Intelligenz, die die Menschenrechte schützt und fördert, einschließlich der Rechte von Menschen, die auf der Flucht sind.
Hochrangige trilaterale Verhandlungen, bekannt als Triloge, zwischen dem Europäischen Parlament, dem Rat der EU (der die 27 Mitgliedstaaten der EU vertritt) und der Europäischen Kommission sollen im Oktober stattfinden, mit dem Ziel, die KI-Verordnung bis zum Ende der aktuellen Legislaturperiode im Jahr 2024 zu verabschieden.