In einem großen Artikel verkündet die New York Times nichts weniger als das Ende der Privatsphäre. Gemeint sind Gesichtserkennungsverfahren, die in den USA zunehmend von Behörden eingesetzt werde. Clearview AI bietet eine Dienstleistung an, welche Bilder aus dem Internet in entsprechende Datenbanken einspeist. Die resultierende Angst: Weil es von uns allen Bilder im Netz gibt, werden wir nie mehr unerkannt sein. Im Artikel werden Google-Glass-ähnliche Brillen beschrieben, welche es erlauben würden, auch im öffentlichen oder privaten Raum alle Menschen über die Datenbank identifizieren lassen.
Was in dieser Argumentation passiert, ist problematisch: Eine Kritik an Praktiken von Behörden wird mit der Vorstellung verbunden, Technologie wirke wie Magie. Das ist ein Muster: Nach der Wahl Trumps verbreitete sich die Vorstellung, die Firma Cambridge Analytica habe der Wahlkampagne geholfen, über Facebook-Daten Persönlichkeitsprofile zu erstellen und Menschen dann gezielt zu manipulieren.
Der CA-Skandal hat zwei massive Probleme aufgedeckt:
- Facebook hat Daten an kommerzielle (politische, militärische) Projekte weitergegeben, ohne die Benutzer*innen zu informieren oder ihr Einverständnis einzuholen.
- Politische Werbung wurde in sogenannten Dark Ads auf eine intransparente, kaum nachvollziehbare Weise nur spezifischen Zielgruppen angezeigt.
Das sind die beiden entscheidenden Punkte. Die Vorstellung, CA könnte mit Persönlichkeitsprofilen gezielt Menschen manipulieren, ist hingegen stark übertrieben wenn nicht schlicht falsch.
Ganz ähnlich läuft die Diskussion zu Gesichtserkennung und Clearview AI. Wiederum gibt es zwei klare Probleme:
- Gesichtserkennung funktioniert nicht gut. Die aktuell verwendeten Systeme weisen hohe Fehlerquoten auf und diskriminieren beispielsweise PoC massiv (weil Fehler größer werden).
- Gesichtserkennung basiert auf Daten, über deren Erhebung Betroffene nicht informiert wurden; auch Consent wurde nicht eingeholt. (Das ist gerade das Problem von Clearview AI: Daten werden mit kommerziellen Absichten aus dem Internet gezogen, ohne dass Betroffene informiert werden oder das verhindern könnten.)
Man kann die Probleme gut mit Fingerabdrücken oder DNA-Proben vergleichen: Menschen, die in europäischen Rechtsstaaten leben, sollten wissen, wann Fingerabdrücke oder DNA-Proben von Behörden gespeichert werden (das ist Punkt 2.). Die Identifikation über Fingerabdrücke oder DNA-Proben ist nahezu fehlerfrei (das in Punkt 1.). Bei Gesichtserkennung sind beide Kriterien nicht gegeben: Ich kann also über ein System falsch identifiziert werden, indem Bilder verwendet werden, von deren Speicherung ich nichts weiß. Dabei entsteht ein drittes Problem: Behörden geben vor, aus Sicherheitsgründen Datenschutzregeln missachten zu dürfen. Das ist nicht korrekt: Solche Befugnisse müssen Behörden per Gesetz erhalten, in fast allen Fällen gibt es dabei keinen Grund, Betroffene nicht zu informieren.
Im kritischen Tech-Journalismus wird das Problem aber mit einem ganz anderen Frame-Dargestellt: Eine dystopische Science-Fiction-Angst gibt vor, die Systeme würden viel besser funktionieren, als sie es tatsächlich tun. Das Problem ist nicht, dass die Systeme so gut funktionieren, sondern dass sie gerade nicht gut funktionieren.
Mein Wunsch wäre, dass Verantwortliche Wege finden, konkrete Probleme zu benennen, ohne sie durch den Einbezug von großen Ängsten emotionalisieren zu müssen.
Schule Social Media 
Der Begriff ist doof gewählt. Es geht weniger um Closed- oder OpenSource, sondern darum, worauf Algorithmen im Netz (noch) optimiert sein müssen – diese Optimierung folgt marktwirtschaftlichen Logiken und die Form der Märkte ist eine kapitalistische. Gedankenspiel: Wenn soziale Netzwerke keine Gewinne erwirtschaften müssten oder nicht u.a. über Werbung, sondern z.B. Monatsbeiträge finanziert würden, fielen bestimmte Entwicklungen weg.
Staat oder Privatwirtschaft: Wer diese Software kontrolliert und entwickelt ist zunächst ziemlich egal, weil Staaten ja prinzipiell immer durch geeignete Gesetzgebung auf Daten zugreifen können. Die Motive der „Warner“ aus den Reihen des Silicon Valley sind vielleicht nur vordergründig „gemeinwohlbezogen“. Natürlich muss es ihnen aus ganz anderen Erwägungen heraus darum gehen, dass der Staat nicht auf Daten zugreift, wenn daraus ein Imageschaden entsteht – wenn es wirklich um den Schutz von Daten ginge, kann man sie schon heute so verarbeiten, dass selbst der Anbieter keinen Zugriff auf Inhalte hat – Metadaten sind aber eh interessanter.
Danke fürs Teilen deiner Gedanken. Zwei Dinge sind mir dazu. eingefallen:
1. Der AI-Experte François Chollet sieht das Problem sogar schon einen Schritt vorher, nicht erst bei der journalistischen Aufarbeitung solcher Themen, sondern schon bei der wissenschaftlichen Erforschung. Er spricht von „intellectual monopolies“ und warnt: „The more energy and attention we spend discussing (…) the value alignment of hypothetical superintelligent AIs, the less we have for dealing with the real and pressing issues that AI technology poses today.“ https://www.theverge.com/2019/12/19/21029605/artificial-intelligence-ai-progress-measurement-benchmarks-interview-francois-chollet-google
2. Wenn ich deinen Artikel richtig verstanden habe, geht es dir hier um die Frage: „Heiligt der Zweck die Mittel?“ Oder etwas moderner ausgedrückt: Ist die Emotionalisierung der Debatte nicht kontra-produktiv?
So sehr ich deinen Wunsch nach einer nüchternen, sachlichen Debatte teile: Meine Hoffnung, dass dies ausgerechent in diesem Bereich besser klappt als in anderen (wichtigen) Diskursen – als prominentes Beispiel sei nur die Klimakrise genannt – ist leider sehr gering. Deshalb ist für mich die Frage eher: Wie können wir den Digitalisierungsdiskurs so gestalten, dass er zielführend im Sinne des Interesses des gesamten Gesellschaft wird?
Dass persönliche Daten von dir verwendet werden, worüber du nicht informiert worden bist, stellt ein Problem dar. Dass es dazu keine gesetzlichen Grundlagen gibt, stellt ein Problem dar. Dass das in der Berichterstattung nicht erwähnt und anders geframed wird siehst du kritisch.
Du siehst die Ursache der Probleme – so wie ich dich verstehe – nicht in dem schieren Vorhandensein von Technologie, sondern in der intransparenten Verwendung von Daten (die man benötigt, um Gesichtserkennung besser als heute zu machen – womöglich funktioniert sie nur *noch* nicht gut, weil die Datenbasis zu schwach ist) – in der EU verfolgt man diesen Ansatz übrigens nicht, sondern setzt tatsächlich an der Technologie selbst an: https://www.notebookcheck.com/Politik-EU-will-Gesichtserkennung-im-oeffentlichen-Raum-verbieten.450630.0.html – die intransparente Verwendung von Daten halte ich für ein wesentliches Grundprinzip des kommerzialisierten Internets – politisch wahrscheinlich nur global zu lösen – eine realistische Perspektive?
CA und Gesichtserkennung in einen Topf zu werfen, finde ich ungenau – es ist technisch, von der Komplexität und dem Ansatz her m.E. nicht analog zu sehen.
Gesichtserkennung arbeitet noch hinreichend unpräzise und wird erst durch eine sehr hohe Genauigkeit nutzbar. Bei den Methoden von CA ist das eigentlich recht egal – es reicht bei engen zu erwartenden Wahlergebnissen das Prinzip der großen Zahl. CA „muss“ nicht in der Genauigkeit funktionieren, wie es für wie auch immer eingesetzte Gesichtserkennung notwendig wäre. Die Quintessenz nach dem CA-Gedöns war ja, dass es so „wahrscheinlich“ nicht gewesen ist, aber theoretisch technisch umsetzbar gewesen wäre (man weiß also weder das eine, noch das andere mit hinreichender Genauigkeit).
Die eigentlich interessante Fragen für mich sind:
a) Gibt es unethische Technologien oder technische Verfahren?
b) Lassen sich missbrauchsanfällige Technologien legislativ regulieren und danach auch wirksam intervenieren?
Sowohl der von dir kritisierte Artikel, bzw. der zugrundeliegende Frame als auch du selbst beantworte(s)t diese Fragen unterschiedlich.
Ich erlaube mir mal hier reinzuspringen und für die beiden Fragen einen Antwortimpuls zu liefern:
a) Nein, Technologie als solche ist wertneutral. Es ist immer die Nutzung (durch Menschen), die zu einem – moralischen oder andersartigen – Wert führt. Deshalb plädiere ich ja auch immer wieder dafür, den Digitalisierungsdiskurs stärker in Richtung menschlich-gesellschaftlicher Aspekte zu lenken. Denn dort müssen die wichtigen Fragen diskutiert und Entscheide gefällt werden.
… und damit sind wir auch gleich bei Frage
b) Natürlich ist das möglich – zumindest theoretisch. In der Praxis gelangen nationalstaatliche Strukturen – nicht nur im Falle der Digitalisierung – immer häufiger und immer stärker an ihre Grenzen. Insofern bin ich ganz bei Ihnen, was „globale Ansätze“ anbelangt.
Eine damit verknüpfte Frage treibt mich aber mindestens ebenso sehr um: Im Grunde sind demokratische Systeme, die per Definition „Bremsen“ bzw. Reflexionsräume eingebaut haben, inkompatibel mit einem Paradigma von ungebremster innovation und Entwicklung. Die möglichst auch noch in exponentiellen Schritten vorangehen soll (oder es zunehmend tut). Wie gehen wir mit diesem Dilemma um?
Tja. Sind Dinge, die theoretisch möglich sind, möglich? Theorie ist ja ganz nett, aber ohne Umsetzung bleibt sie halt eine bloße gedankliche Übung. So wie so vieles – gerade auch – im Bildungsdiskurs: Hübsche Worthülsen. Unser Problem ist in vielen Bereichen nicht die Theorie – es ist die Umsetzung. Aber immer neue Theorien, warum Theorien nicht funktionieren sind z.B. halt bequemer als die konkrete Umsetzung.
Und ja: Innovation ist schneller als Demokratie ihr zu folgen vermag – gerade auch vor dem Hintergrund medienethischer Fragestellungen. Das sieht man ja recht hübsch an Philippes Artikel. Es gibt bisher nur einen theoretischen Umgang mit dem Dilemma: Innovation darf schlicht nicht mit „kapitalischer Software“ laufen. Aber das zu verhindern und umzudeuten, ist eben auch bisher nur Theorie.
Maik Rieken und Chris, danke für den hochinteressanten Austausch, den ihr hier teilt. Maik Rieken: «Kapitalische Software», kapitalistische Software? Geht es hier um proprietäre vs. Open Source Software? Aber der Krieg ist eoch der Vater aller Dinge, wie diese Video-Repo einmal mehr schön zeigt. Meiner Meinung nach kommt es besser, wenn Unternehmen in einem liberal-demokratischen Staat die Technik vorantreiben, als wenn es Staatsbetriebe – im Auftrag der Kriegsministerien – tun. In manchen Staaten sind auch die Universitäten einfach Handlanger für das Militär. Es sind «Persönlichkeiten der Marktwirtschaft» der westlichen Welt wie Elon Musk, die zu den prominenten Warnern gehören während die politischen Institutionen wie eine Maus vor der Klapperschlange sitzen. Was ist die Theorie hinter der Annahme, freie Software könne weniger für bellikose Usecases eingesetzt werden als kapitalistische Software? Wenn der Code offen ist, dann hat ihn auch der militärische Gegner? Wirkt Open Source automatisch befriedend? https://www.spiegel.de/wissenschaft/technik/autonome-waffen-gefahren-der-roboterarmeen-a-d18a0445-964c-4817-bc25-a9220d254de2
Verklickt. Die Antwort steht jetzt ganz oben :o)…