Der Schadensbericht ist korrekt ausgefüllt, alle Unterlagen sind bei der Versicherung eingereicht – und doch kommt die Ablehnung. Kein Gespräch, keine Begründung, keine Ansprechperson. Nur ein automatisiertes System, das entschieden hat. Für Betroffene bleibt nur das Gefühl, aus dem Raster gefallen zu sein.
Der Dokumentarfilm „Digital Aliens: Die neue Ungleichheit“, den ARTE im Juni zeigt, skizziert Fälle, in denen genau das passiert ist. Im Zuge der Digitalisierung, lange als Motor des Fortschritts gefeiert, könnte die Gesellschaft schon bald umfassend neu sortiert werden. Teilhabe hängt dann nicht mehr von Bildung, Herkunft oder Einkommen ab, sondern verstärkt davon, ob Menschen in die Kategorien der von künstlicher Intelligenz (KI) gesteuerten Systeme passen – und von ihnen korrekt erkannt werden.
„Besonders kritisch sind Entscheidungen mit lebensverändernden Konsequenzen“, sagt die Juristin Sandra Wachter, Professorin für Technologie und Regulierung am Oxford Internet Institute, im Gespräch mit dem ARTE Magazin. Gemeint sind Situationen, in denen über Jobs, Kredite, Studienplätze oder auch medizinische Versorgung entschieden wird. Bereiche, in denen schon menschliche Urteile anfällig für Fehler und Vorurteile waren – und in denen nun Algorithmen zum Einsatz kommen. Denn die Systeme lernen aus der Vergangenheit.
„Wenn man ein Modell mit historischen Daten trainiert, ist es fast unmöglich, dass dessen Entscheidungen keinen Bias enthalten“, so Wachter, wobei durch falsche Methoden verursachte Verzerrungen von Ergebnissen gemeint sind. Was wie eine neutrale Berechnung erscheint, kann im Fall von KI-Systemen schlicht bestehende Ungleichheiten fortsetzen oder gar verstärken. Wer gestern benachteiligt wurde, könnte demnach in Zukunft erst recht schlechte Chancen haben.
Der Dokumentarfilm schildert die Entwicklung anhand konkreter Beispiele aus Ländern wie Frankreich, Großbritannien und Deutschland – darunter automatisierte Entscheidungen in Schulverwaltungen, in Sozialsystemen, auf dem Arbeitsmarkt. Beispiel Bildungswesen: Bereits im Jahr 2020, also einige Jahre vor dem aktuellen Hype um künstliche Intelligenz, beschloss etwa die britische Regierung, ein KI-System für die Vergabe von Schulnoten einzusetzen. Das Ergebnis rief Tausende Schülerinnen und Schüler auf die Barrikaden, denn der Algorithmus hatte Kindern aus ärmeren Milieus schlechtere Noten gegeben als jenen, die in wohlhabenderen Vierteln zu Hause waren.
„Wir reproduzieren Diskriminierung und skalieren sie zugleich“, kritisiert Wachter. Besonders deutlich wird das bei einem Fall aus Frankreich. Dort entscheidet ein Algorithmus des staatlichen Versorgungswerks CAS, ob dessen Begünstigte verdächtig sind, Sozialbetrug begangen zu haben. In einem intransparenten Verfahren werden sogenannte Social-Scoring-Points vergeben. Je höher der Score, desto härter der Verdacht. Bürgerrechtsorganisationen haben den Fall vor Gericht gebracht – eine Entscheidung steht noch aus.
Zugleich gerät die politische Steuerung ins Hintertreffen. In Europa, so Wachter, sei derzeit ein starker Druck zu beobachten, bestehende Regulierungen abzuschwächen. Geplante Haftungsregeln für KI wurden gestoppt, andere Schutzmechanismen stehen zur Disposition. Dahinter steht die Sorge, im globalen Wettbewerb um KI-Systeme zurückzufallen. Doch was nutzt Technik, die tief in gesellschaftliche Prozesse eingreift, wenn sie sich nicht kontrollieren lässt? Strikte Regulierungen seien dafür unabdingbar, mahnt Wachter. „Im Moment konzentrieren wir uns darauf, KI-Prozesse schneller und günstiger zu machen – nicht darauf, bessere Entscheidungen zu treffen.“
Fortschritt oder Ausgrenzung?
Auch Daron Acemoglu, Ökonom am Massachusetts Institute of Technology und einer der einflussreichsten Forscher zu Fragen von Arbeit, Innovation und Ungleichheit, betrachtet die Entwicklung mit Sorge. KI werde derzeit vor allem eingesetzt, um Arbeit zu automatisieren und Kosten zu senken – nicht, um die Gesellschaft voranzubringen. Genau darin liege das eigentliche Risiko: Wenn Systeme primär auf Effizienz zielen, können sie Ungleichheiten verschärfen statt verringern. Entscheidend sei daher nicht die Technik, „sondern die Frage, in welche Richtung die Systeme gestaltet werden – ob sie menschliche Fähigkeiten ergänzen oder sie ersetzen“.
Wer also profitiert künftig von einer Welt, in der Zugehörigkeit zunehmend algorithmisch entschieden wird? Digitalisierung verspricht zwar Teilhabe für alle. Ohne klare Regeln und gesellschaftliche Aushandlung könnte sie aber eine Klassengesellschaft hervorbringen, in der Anpassung ans System zum entscheidenden Kriterium wird. Ob daraus Fortschritt entsteht oder eine neue Form der Ausgrenzung, sei keine Frage der Technik, sondern der Gesellschaftsmoral, sagt Sandra Wachter. „Wir müssen uns entscheiden, ob wir die Systeme nutzen wollen, um die Welt gerechter zu machen – oder nur, um die Profite der KI-Unternehmen zu vergrößern.“
