EDRi-gram 17.21, 04. Dezember 2019

1. Das Einmaleins der Gesichtserkennung und der Grundrechte
2. Interoperabilität: Ein Weg, um vergifteten Online-Umgebungen zu entkommen
3. Ein Blick auf das Moderationszentrum für Facebook-Inhalte in Athen
4. Warum der Datenschutz für Menschen mit Behinderungen besonders wichtig ist
5. Frankreichs Gesetz über Hassreden bekommt einen Daumen nach unten
6. Serbien: Videoüberwachung mit rechtswidriger Gesichtserkennung in Belgrad

 

Das Einmaleins der Gesichtserkennung und der Grundrechte

Von Ella Jakubowska

Dies ist der erste Beitrag in einer Reihe über die Auswirkungen der Gesichtserkennung auf die Grundrechte. Private Unternehmen und Regierungen weltweit experimentieren bereits mit Gesichtserkennungstechnologien. Einzelpersonen, Gesetzgeber, Entwickler – und alle dazwischen – sollten sich des Anstiegs der Gesichtserkennung und der damit verbundenen Risiken für das Recht auf Privatsphäre, Freiheit, Demokratie und Nichtdiskriminierung bewusst sein.

Im November 2019 verzeichnete eine Online-Suche zum Thema „Gesichtserkennung“ über 241 Millionen Treffer – und die vorgeschlagenen Ergebnisse deuten darauf hin, dass viele Menschen sich nicht sicher sind, was Gesichtserkennung ist und ob sie legal ist. Obwohl die ersten Anwendungen, an die man sich erinnert, E-Passport-Gates oder Telefon-Apps sein könnten, hat die Gesichtserkennung eine viel breitere und komplexere Palette von Anwendungen und wird sowohl im öffentlichen als auch im privaten Bereich immer allgegenwärtiger – was sich auf ein breites Spektrum von Grundrechten auswirken kann.

Worum geht es bei der Gesichtserkennung?

Biometrie ist der Prozess, der aus dem menschlichen Körper Daten macht – die individuell einzigartigen „bio“-logischen Qualitäten werden zu „Metriken“. Die Gesichtserkennung ist eine Art biometrische Anwendung, die statistische Analysen und algorithmische Vorhersagen verwendet, um die Gesichter von Menschen automatisch zu vermessen und zu identifizieren, um eine Bewertung oder Entscheidung zu treffen. Die Gesichtserkennung lässt sich weitgehend in Bezug auf die zunehmende Komplexität der verwendeten Analysen kategorisieren: von der Überprüfung eines Gesichts (diese Person entspricht ihrem Passfoto) über die Identifizierung eines Gesichts (diese Person passt zu jemandem in unserer Datenbank) bis hin zur Klassifizierung eines Gesichts (diese Person ist jung). Nicht alle Anwendungen der Gesichtserkennung sind gleich und damit auch die damit verbundenen Risiken. Die Gesichtserkennung kann live (z.B. Analyse von CCTV-Feeds, um zu sehen, ob jemand auf der Straße einem Kriminellen in einer Polizeidatenbank entspricht) oder nicht live (z.B. anhand zweier Fotos) erfolgen, was zu einer höheren Genauigkeitsrate führt.

Es gibt Möglichkeiten für Fehler und Ungenauigkeiten in jeder Kategorie der Gesichtserkennung, wobei die Klassifizierung am umstrittensten ist, weil sie behauptet, das Geschlecht, die Rasse oder andere Merkmale einer Person beurteilen zu können. Diese Kategorisierung kann zu Bewertungen oder Entscheidungen führen, die die Würde nicht geschlechtskonformer Menschen verletzen, enthält geschlechtsschädigende oder rassische Stereotypen und führt zu ungerechten und diskriminierenden Ergebnissen.

Darüber hinaus geht es bei der Gesichtserkennung nicht um Fakten. Laut der Agentur der Europäischen Union für Grundrechte (FRA) „liefert ein Algorithmus nie ein endgültiges Ergebnis, sondern nur Wahrscheinlichkeiten“ – und das Problem wird noch verschärft, da die Daten, auf denen die Wahrscheinlichkeiten basieren, soziale Vorurteile widerspiegeln. Wenn diese statistischen Wahrscheinlichkeiten so interpretiert werden, als wären sie eine neutrale Sicherheit, kann dies wichtige Rechte auf ein faires und ordnungsgemäßes Verfahren gefährden. Dies wiederum hat Auswirkungen auf die Fähigkeit des Einzelnen, Gerechtigkeit zu erlangen, wenn die Gesichtserkennung seine Rechte verletzt. NGOs für digitale Rechte warnen davor, dass die Gesichtserkennung die Privatsphäre, die Sicherheit und den Zugang zu Dienstleistungen beeinträchtigen kann, insbesondere für marginalisierte Gemeinschaften. Ein eindrucksvolles Beispiel dafür ist der Einsatz der Gesichtserkennung in Migrations- und Asylverfahren.

Eine Frage der sozialen Gerechtigkeit und Demokratie

Während die Diskriminierung aufgrund technischer Probleme oder uneinheitlicher Datensätze ein echtes Problem darstellt, ist die Genauigkeit nicht der entscheidende Punkt, warum die Gesichtserkennung so wichtig ist. Ein Gesichtserkennungssystem, das behauptet, Terroristen auf einem Flughafen zu identifizieren, könnte als 99% genau angesehen werden, selbst wenn es einen einzelnen Terroristen nicht korrekt identifiziert hat. Und auch eine größere Genauigkeit ist nicht unbedingt die Antwort, da sie es der Polizei erleichtern kann, Farbige auf der Grundlage diskriminierender rassistischer Stereotypen anzusprechen oder zu profilieren. Der eigentliche Kern des Problems liegt darin, was Gesichtserkennung für unsere Gesellschaften bedeutet, einschließlich der Frage, wie sie bestehende Ungleichheiten und Missbräuche verstärkt und ob sie mit unseren Vorstellungen von Demokratie, Freiheit, Privatsphäre, Gleichheit und sozialem Wohl vereinbar ist. Die Gesichtserkennung wirft per Definition Fragen nach dem Gleichgewicht zwischen dem Schutz personenbezogener Daten, der Massenüberwachung, den kommerziellen Interessen und der nationalen Sicherheit auf, die die Staaten sorgfältig prüfen sollten. Technologie ist oft unglaublich beeindruckend und effizient – aber das sollte nicht mit ihrer Nutzung verwechselt werden, die für uns als Gesellschaft notwendig, von Vorteil oder nützlich ist. Leider werden diese wichtigen Schlüsselfragen oft in Hinterzimmern entschieden, ohne dass es einbe Rechenschaftspflicht gibt und der Aufsicht der Öffentlichkeit unterliegt.

Was ist das für ein Gesicht?

Ihr Gesicht hat eine besondere Sensibilität im Zusammenhang mit der Überwachung, sagt die französische Datenschutzbehörde – und als eine sehr persönliche Form von personenbezogenen Daten sind sowohl Live- als auch Non-Live-Bilder Ihres Gesichts bereits nach der Allgemeinen Datenschutzverordnung (GDPR) vor rechtswidriger Verarbeitung geschützt.

Im Gegensatz zu einem Passwort ist dein Gesicht einzigartig für dich. Passwörter können außer Sichtweite gehalten und bei Bedarf zurückgesetzt werden – aber Ihr Gesicht nicht. Wenn zum Beispiel dein Auge gehackt wird, gibt es keine Möglichkeit, diesen Vorgang rückgängig zu machen. Und Ihr Gesicht unterscheidet sich auch von anderen Formen biometrischer Daten wie Fingerabdrücken, da es fast unmöglich ist, eine Gesichtsüberwachung zu vermeiden, wenn diese Technologie an öffentlichen Orten eingesetzt wird. Im Gegensatz zur Abnahme Ihrer Fingerabdrücke kann Ihr Gesicht ohne Ihr Wissen vermessen und analysiert werden. Ihr Gesicht kann auch ein Kennzeichen für geschützte Merkmale nach internationalem Recht sein, wie beispielsweise Ihr Recht, Ihre Religion frei auszuüben. Aus diesen Gründen ist die Gesichtserkennung sehr aufdringlich und kann unter anderem das Recht auf Privatsphäre und den Schutz personenbezogener Daten verletzen.

Forscher haben die angstmachenden Annahmen hervorgehoben, die einen Großteil des aktuellen Hype um die Gesichtserkennung ausmachen, insbesondere wenn sie dazu verwendet werden, Emotionen oder Qualitäten basierend auf den Gesichtsbewegungen oder -dimensionen von Individuen zu kategorisieren. Dies geht auf die diskreditierte Pseudowissenschaft der Physiognomie zurück – ein Favorit der NS-Eugeniker – und kann massive Auswirkungen auf die Sicherheit und Würde des Einzelnen haben, wenn es darum geht, über Dinge wie seine Sexualität zu urteilen oder ob er die Wahrheit über seinen Einwanderungsstatus sagt. Der Einsatz bei der Personalauswahl erhöht auch die Diskriminierung von Menschen mit Behinderungen. Experten warnen davor, dass es keine wissenschaftliche Grundlage für diese Behauptungen gibt – aber das hat die Technologieunternehmen nicht davon abgehalten, Gesichtsklassifizierungssysteme zu entwickeln. Wenn sie in autoritären Gesellschaften eingesetzt werden oder wenn LGBTQI+ ein Verbrechen ist, bedroht diese Art der Massenüberwachung das Leben von Journalisten, Menschenrechtsverteidigern und allen, die sich nicht daran halten – was wiederum die Freiheit aller gefährdet.

Warum können wir die Black Box nicht öffnen?

Die statistische Analyse, die der Gesichtserkennung und anderen ähnlichen Technologien zugrunde liegt, wird oft als „Black Box“ bezeichnet. Manchmal liegt dies daran, dass die technologische Komplexität von Deep-Learning-Systemen dazu führt, dass selbst Datenwissenschaftler nicht vollständig verstehen, wie die algorithmischen Modelle Entscheidungen treffen. Manchmal liegt das daran, dass die privaten Unternehmen, die die Systeme schaffen, geistiges Eigentum oder andere kommerzielle Schutzmaßnahmen nutzen, um die Methodik ihrer Modelle zu verstecken. Das bedeutet, dass Einzelpersonen und sogar Staaten daran gehindert werden, das Innenleben und die Entscheidungsprozesse der Gesichtserkennungstechnologie zu hinterfragen, obwohl sie so viele Grundrechte berührt, was gegen die Grundsätze der Transparenz und der informierten Einwilligung verstößt.

Gesichtserkennung und Rechtsstaatlichkeit

Wenn dieser Artikel sich wie eine Liste von Menschenrechtsverletzungen anfühlt – dann genau weil er das ist. Die Massenüberwachung durch Gesichtserkennungstechnologie bedroht nicht nur das Recht auf Privatsphäre, sondern auch Demokratie, Freiheit und die Möglichkeit, sich mit Würde, Autonomie und Gleichheit in der Gesellschaft zu entwickeln. Es kann eine so genannte „kühlende Wirkung“ auf den rechtlichen Dissens haben, die legitime Kritik, Protest, Journalismus und Aktivismus unterdrückt, indem sie eine Kultur der Angst und Überwachung im öffentlichen Raum schafft. Unterschiedliche Anwendungen der Gesichtserkennung haben unterschiedliche Auswirkungen auf die Rechte – nicht nur je nachdem, was und warum sie die Gesichter von Menschen analysieren, sondern auch wegen der Begründung für die Analyse. Dazu gehört auch, ob das System die gesetzlichen Anforderungen an Notwendigkeit und Verhältnismäßigkeit erfüllt – was, wie im nächsten Artikel dieser Serie untersucht wird, bei vielen aktuellen Anwendungen nicht der Fall ist.

Die Rechtsstaatlichkeit ist in der gesamten Europäischen Union von entscheidender Bedeutung und gilt sowohl für nationale Institutionen als auch für private Unternehmen – und die Gesichtserkennung bildet da keine Ausnahme. Die EU kann zum Schutz der Menschen vor den Gefahren der Gesichtserkennung beitragen, indem sie die GDPR streng durchsetzt und prüft, wie sich bestehende oder künftige Rechtsvorschriften auch auf die Gesichtserkennung auswirken können. Die EU sollte Debatten mit den Bürgern und der Zivilgesellschaft fördern, um dazu beizutragen, wichtige Fragen, einschließlich der Unterschiede zwischen der staatlichen und privaten Nutzung der Gesichtserkennung und der Definition öffentlicher Räume, zu beleuchten, und Forschungsarbeiten durchführen, um die Auswirkungen der vielfältigen Nutzung dieser Technologie auf die Menschenrechte besser zu verstehen. Schließlich müssen die Behörden vor dem Einsatz der Gesichtserkennung im öffentlichen Raum Menschenrechtsfolgenabschätzungen erstellen und sicherstellen, dass die Verwendung die Notwendigkeits- und Verhältnismäßigkeitsprüfung besteht.

Wenn es um die Gesichtserkennung geht, bedeutet das nicht unbedingt, dass wir es tun sollten, nur weil wir es nutzen können. Aber was wäre, wenn wir uns weiterhin von der Faszination der Gesichtserkennung verführen lassen? Nun, wir müssen auf die auftretenden Verletzungen vorbereitet sein, Garantien für den Schutz der Rechte umsetzen und sinnvolle Rechtsbehelfe schaffen.

 

Weitere Informationen:

Gesichtserkennungstechnologie: Grundrechtsüberlegungen im Rahmen der Strafverfolgung (PDF, 27.11.2019)

Warum ID (2019)

Ban Face Surveillance (2019)

Bots am Tor: Eine Menschenrechtsanalyse der automatisierten Entscheidungsfindung im kanadischen Einwanderungs- und Flüchtlingssystem (PDF, 16.08.2018)

Erklärung: Ein Moratorium für Gesichtserkennungstechnologie für Vermerke der Massenüberwachung

Die Überwachungsindustrie unterstützt die staatliche Unterdrückung. Sie muss gestoppt werden (26.11.2019).

 

Beitrag von Ella Jakubowska, EDRi, mit vielen Ideen, die von Mitgliedern des EDRi-Netzwerks dankbar übernommen oder inspiriert wurden

 

 

Interoperabilität: Ein Weg, um vergifteten Online-Umgebungen zu entkommen

Von Chloé Berthélémy

Die politische Debatte über den zukünftigen Digital Services Act dreht sich vor allem um die Frage der Online-Hassrede und wie man ihr am besten begegnen kann. Ob auf der Grundlage staatlicher Eingriffe oder selbstregulierender Maßnahmen, die Lösungen zur Erreichung dieses legitimen Ziels der öffentlichen Ordnung werden vielfältig sein. In ihrem Schreiben an Frankreich, in dem sie den Gesetzentwurf über hasserfüllte Inhalte kritisiert, hat die Europäische Kommission selbst anerkannt, dass es unerwünscht ist, die Unternehmen lediglich zu drängen, übermäßige Mengen an Inhalten zu entfernen, und dass die Verwendung automatischer Filter angesichts eines so komplexen Themas ineffektiv ist. Aus dem Spektrum der Lösungen, die dazu beitragen könnten, Online-Hassreden zu bekämpfen und Räume der freien Meinungsäußerung zu fördern, wäre eine gesetzliche Verpflichtung für bestimmte marktbeherrschende Akteure, mit ihren Wettbewerbern interoperabel zu sein, eine wirksame Maßnahme.

Gefangen in ummauerten Gärten

Ursprünglich ermöglichte das Internet dank einer Reihe von standardisierten Protokollen die Interaktion zwischen allen Beteiligten. Sie ermöglichte es allen, Wissen zu teilen, sich gegenseitig zu helfen, sichtbar zu werden und zivilgesellschaftliche Bewegungen zu organisieren. Da die Internet-Infrastruktur offen ist, kann jeder seine eigene Plattform oder Kommunikationsmittel erstellen und sich mit anderen verbinden. Die Internetlandschaft hat sich jedoch in den letzten zehn Jahren dramatisch verändert: Der Aufstieg der Big Tech-Unternehmen hat zu einem stark zentralisierten Online-Ökosystem mit wenigen dominanten Akteuren geführt.

Ihre Stärke liegt in den riesigen Datensätzen, die sie sammeln und besitzen, was ihnen hilft, attraktive Funktionalitäten zu entwickeln, und in den riesigen Benutzerbasen, die noch mehr Nutzer in ihre Dienste ziehen, da die Menschen gerne ihr persönliches Kontaktnetz erweitern. Im Gegensatz zur historischen Offenheit des Internets streben diese Unternehmen noch höhere Gewinne an, indem sie ihre Systeme schließen und ihre Kunden binden. Daher sind die Kosten, die für viele übrig bleiben, zu hoch, um den Sprung zu wagen. Dadurch haben Unternehmen die absolute Kontrolle über alle stattfindenden Interaktionen und die auf ihren Diensten veröffentlichten Inhalte.

Facebook, Twitter, YouTube oder LinkedIn entscheiden für dich, was du als nächstes sehen solltest, verfolgen jede Aktion, die du machst, um dich zu profilieren und entscheiden, ob dein Beitrag ihre kommerziellen Interessen verletzt und daher entfernt werden sollte oder nicht. In diesem Zusammenhang haben Sie als Nutzer kein Mitspracherecht bei der Festlegung der Regeln.

Ungesunde Kommunikation

Am profitabelsten für diese Unternehmen sind Inhalte, die möglichst viele Profildaten erzeugen – die sich aus jeder Benutzerinteraktion ergeben. In dieser Hinsicht ist die Förderung offensiver, polarisierender und schockierender Inhalte die beste Strategie, um die Aufmerksamkeit der Nutzer zu erregen und eine Reaktion von ihnen auszulösen. Kombiniert mit einem System von Belohnungen – likes, views, thumbs up – für diejenigen, die die gleichen rhetorischen Strategien anwenden, bieten diese Unternehmen einen fruchtbaren Boden für Konflikte und die Ausbreitung von Hass. In diesem toxischen Umfeld, das auf willkürlichen Entscheidungen basiert, erklärt dieses Geschäftsmodell, wie Morddrohungen gegen Frauen gedeihen können, während LGBTQIA+ Menschen zensiert werden, wenn es um queere Themen geht. Ganze Nutzergruppen sind vom Wohlwollen der Vermittler abhängig und müssen plötzliche Änderungen der „Community-Richtlinien“ ertragen, ohne dass sie angefochten werden können.

Wenn man über die Verbreitungsmechanismen von Hassreden und gewalttätigen Inhalten im Internet nachdenkt, ist es leicht zu verstehen, dass die Sicherung des Opferschutzes an genau diese Unternehmen zu übertragen absolut kontraproduktiv ist. Die nationalen Regierungen und die EU-Institutionen haben sich jedoch hauptsächlich für diesen Regulierungsweg entschieden.

Wo ist der Notausgang?

Eine andere Möglichkeit wäre die Unterstützung der Entwicklung von Plattformen mit verschiedenen Geschäftspraktiken, einem hohen Grad an Benutzerschutz und Standards für die Regulierung von Inhalten. Ein so diversifiziertes Online-Ökosystem würde den Nutzern eine echte Auswahl an alternativen Räumen bieten, die ihren Bedürfnissen entsprechen, und es ihnen sogar ermöglichen, ihre eigenen Plattformen nach den von ihnen gewählten Gemeinschaftsregeln zu schaffen. Der Schlüssel zum Erfolg dieses Systems wäre die Aufrechterhaltung der Verbindung zu den anderen Social Media Plattformen, wo die meisten ihrer Freunde und Familien noch immer leben. Interoperabilität würde jedem die Möglichkeit garantieren, ohne Verlust seiner sozialen Verbindungen zu gehen und einem anderen Netzwerk beizutreten, in dem die Verbreitung von Hass nicht so lukrativ ist. Auf der einen Seite kann die Interoperabilität dazu beitragen, der Überrepräsentation von hasserfüllten Inhalten und diktatorischen Moderationsregeln zu entgehen, auf der anderen Seite löst sie die Schaffung von menschlich skalierten, offenen, aber sicheren Ausdrucksformen aus.

Die Funktionsweise ermöglicht es einem Benutzer des Dienstes A, mit Benutzern eines Dienstes B zu interagieren, Inhalte zu lesen und zu zeigen. Es ist technisch nicht kompliziert, da Facebook vor 2015 ein offenes Protokoll für seinen Messaging-Dienst hatte und Twitter es Benutzern immer noch erlaubt, direkt von Websites Dritter zu twittern. Es ist von entscheidender Bedeutung, dass diese Diskussion in der breiteren Debatte um den Digital Services Act stattfindet: Die Frage, wer darüber entscheidet, wie wir die täglichen Nachrichten konsumieren, wie wir mit Freunden online in Kontakt treten und wie wir unsere Funktionalitäten wählen, sollte nicht ein paar dominanten Unternehmen überlassen werden.

 

Weitere Informationen:

Inhaltsregulierung – was ist der (Online-)Schaden? (09.10.2019)

Frankreichs Gesetz über Hassreden bekommt einen Daumen nach unten

Hassrede online: Lehren zum Schutz der freien Meinungsäußerung (29.10.2019)

E-Commerce-Review: Die Büchse der Pandora öffnen? (20.06.2019)

 

Beitrag von Chloé Berthélémy, EDRi

 

 

Ein Blick auf das Moderationszentrum für Facebook-Inhalte in Athen

Von Homo Digitalis

Nach monatelangen Bemühungen gelang es dem EDRi-Beobachter Homo Digitalis Anfang September 2019, einen Fall zu beleuchten, der jeden einzelnen Facebook-Nutzer betrifft: ein Content-Moderationszentrum in Athen, Griechenland, das Facebook-Werbung moderieren sollte. Wie viele andere Richtlinien zur Moderation von Inhalten, die von praktisch nicht rechenschaftspflichtigen Privatunternehmen betrieben werden, kann dies eine Bedrohung für unsere Meinungsfreiheit darstellen.

Eine Person, die behauptete, als „Facebook-Content-Moderator“ in Athen zu arbeiten, kontaktierte Homo Digitalis im Februar 2019. Aber wie kann das sein? Facebook verfügt über verschiedene Content-Moderationszentren auf der ganzen Welt, aber keiner von ihnen war bekannt dafür, dass er in Athen tätig ist. Es stellte sich heraus, dass Tassos (Name wurde geändert) tatsächlich einer von Hunderten war, die in Athen als Content-Moderatoren für Facebook arbeiten. Diese Content-Moderatoren bestimmen im Namen von Facebook, was unangemessen oder irreführend ist und von der Plattform gelöscht werden sollte. Die Besonderheit des Moderationszentrums in Athen besteht darin, dass es ausschließlich Werbung moderiert und nicht Inhalte, die einzelne Facebook-Nutzer auf der Plattform veröffentlichen. Unter „Werbung“ für Facebook versteht man jedoch nicht nur Anzeigen, die von transnationalen Konzernen oder renommierten Zeitungen geschaltet werden. Es enthält alle Beiträge von jeder professionellen Seite auf Facebook, einschließlich der persönlichen professionellen Seiten eines Anwalts, eines Zahnarztes, eines Journalisten, eines Fotografen, eines Models und eines Profis im Allgemeinen.

Facebook betreibt dieses Zentrum mindestens seit September 2018 über einen Subunternehmer namens Teleperformance, einem in Frankreich ansässigen multinationalen Unternehmen, das sich auf die Erbringung von Kundendienstleistungen für andere Unternehmen spezialisiert hat, oder „ausgelagertes omnichannel Customer Experience Management“ im Fachjargon.

Aber wie ist Tassos dort gelandet? Indem er auf eine kurze, vage Stellenanzeige antwortete. Für die Stelle waren keine Qualifikationen erforderlich, außer eine der 25 Arbeitssprachen zu sprechen. Der Mangel an spezifischer Erfahrung in der Moderation von Inhalten oder gar Erfahrung in der Technologie wirft ernsthafte Bedenken hinsichtlich der Qualität des Auswahlverfahrens auf.

Tassos erzählte, dass ihm in einem kurzen Interview mitgeteilt wurde, dass der Job die Möglichkeit beinhalte, gewalttätigen Bildern ausgesetzt zu sein. Er absolvierte eine dreiwöchige Ausbildung, bevor er mit der Arbeit begann. Dieses Training bestand hauptsächlich aus Präsentationen der Richtlinien von Facebook und praktischen Beispielen für die Lösung eines Falles. Die Richtlinien von Facebook ändern sich jedoch tendenziell stark und recht schnell, ohne dass zusätzliche Schulungen zu den neuen Richtlinien angeboten werden. Laut Tassos hat Facebook in der Regel auch Monate gebraucht, um auf Fragen und Zweifel zu antworten, die sich im Zusammenhang mit den neuen Richtlinien ergeben haben – oder hat auf viele Fragen überhaupt nicht geantwortet. Dies führte dazu, dass die Moderatoren keine ausreichenden Mittel hatten, um mit einer Werbung richtig umzugehen, die gegen eine neue oder geänderte Richtlinie hätte gerichtet sein können.

Obwohl es keine formelle tägliche Quote gab, die die Moderatoren treffen sollten, mussten sie informell hundert Beiträge pro Stunde überprüfen. Tassos sagte, dass einige seiner Mitarbeiter zum Ende der Schicht einfach Inhalte ohne weitere Überlegungen genehmigen oder ablehnen würden. Ihr Ziel, so sagte er, sei es, die informelle Vorgabezu erreichen. Falsche Entscheidungen auf Druck hin könnten in der Folge zu Verzerrungen im System der künstlichen Intelligenz (KI) führen, mit dem angeblich in den kommenden Jahren dieselbe Aufgabe für Facebook erfüllt werden soll.

Facebook, als Teil seines Geschäftsbetriebs, verwaltet die Art und Weise, wie Anzeigen auf seiner Plattform laufen. Es scheint jedoch, dass einige falsche Wege gewählt wurden, um dies zu tun. Der derzeitige Betrieb des Athener Moderationszentrums stellt eine Bedrohung für die Rechte der Nutzer dar, da es ihre Meinungs- und Informationsfreiheit gefährden kann. Es ist inakzeptabel, dass Entscheidungen, die das persönliche oder geschäftliche Leben eines oder mehrerer Nutzer von Facebook von Natur aus beeinträchtigen könnten, innerhalb von Sekunden von Personen getroffen werden, die keine Erfahrung in der Durchführung einer ordnungsgemäßen Bewertung haben.

Darüber hinaus werfen die Aktivitäten des Zentrums Bedenken hinsichtlich des Wohlergehens von Moderatoren auf, die ohne psychologische Unterstützung oder Aufsicht arbeiten. Tassos sprach über die Arbeitsbedingungen und die Ausbildung der Moderatoren. Gemäß seinem Vertrag, der Homo Digitalis vorlag, leistete er Call-Support und „Services primär in der Facebook-Kundendienstabteilung“. Tassos erklärte, dass seine Arbeit keine Telefonate beinhalte. Andererseits enthielt sie gelegentlich auch Darstellungen von Gewalt. Wenn Tassos sich nicht sicher war, ob er einen Beitrag annehmen oder ablehnen sollte, musste er ein langes Handbuch durchgehen, das die grausamsten Beispiele dafür enthielt, was unter den Richtlinien von Facebook nicht akzeptiert wird. „Wir haben dieses Handbuch mehrmals täglich genutzt. Ich träumte von zwei toten Hunden, die an einem Baum hingen, die in diesem Handbuch als Beispiel gezeigt wurden, monatelang jede Nacht.“ Die Mitarbeiter konnten alle zwei Wochen eine 30-minütige Sitzung mit einem der drei Psychologen buchen, die vor Ort verfügbar waren. Die meisten Moderatoren waren jedoch nicht bereit, an solchen Sitzungen teilzunehmen, da sie befürchteten, dass ihre Gespräche nicht vertraulich waren und zu ihrer Entlassung führen könnten. Tassos war es verboten, seine Arbeit mit jemandem außerhalb der Organisation zu besprechen, und es war ihm nicht erlaubt, die Identität seines Arbeitgebers in den sozialen Medien preiszugeben.

In den letzten 14 Monaten haben etwa 800 Personen das Einstellungsverfahren durchlaufen und wurden von Teleperformance beauftragt, Anzeigen für Facebook in Athen zu moderieren. Die Mitarbeiter decken ein breites Spektrum an Sprachen und Nationalitäten ab (angeblich 25 Sprachen und mehr als 70 Länder). Zu den Sprachen gehören Griechisch, Englisch, Französisch, Deutsch, Spanisch, Italienisch, Arabisch, Türkisch, Norwegisch, Finnisch, Israelisch und Russisch. Es ist leicht verständlich, dass der Betrieb dieses Zentrums jeden Facebook-Nutzer aus Ländern betrifft, in denen eine dieser Sprachen gesprochen wird.

Der Homo Digitalis übermittelte die Geschichte an Kathimerini, eine führende Zeitung in Griechenland. Kathimerini hatte jahrelang zu diesem Thema geforscht, es aber nicht geschafft, die Aussage eines Moderators zu bekommen. Am Abend vor Kathimerinis Veröffentlichung eines Artikels zu diesem Thema auf der Titelseite gab Facebook erstmals eine formelle Erklärung ab und räumte ein, dass Facebook tatsächlich ein Content-Moderationszentrum in Athen betreibt.

 

Weitere Informationen:

Homo Digitalis

Homo Digitalis kommentiert das Content Moderation Center von Facebook in Griechenland (20.10.2019)

Volle Geschichte auf Kathimerinis Website: In der Moderationszentrale von Facebook in Athen

 

Beitrag von Konstantinos Kakavoulis, EDRi-Beobachter Homo Digitalis, Griechenland

 

 

Warum der Datenschutz für Menschen mit Behinderungen besonders wichtig ist

Von Shadi Abou-Zahra, Gastautor

Da Daten als „neue Währung“ bezeichnet werden, stellen sich viele Fragen rund um den Datenschutz. Wir alle hinterlassen immer größere Daten-Fußabdrücke, da wir mehr und fortschrittlichere Technologien einsetzen. Wir lassen Apps auf unsere Telefonbuchkontakte zugreifen, verfolgen unsere Gewohnheiten und Verhaltensweisen und kennen unsere Präferenzen. In anderen Fällen haben wir nicht einmal eine Alternative zur Installation von intelligenten Zählern in unseren Haushalten, zu Netzbetreibern, die unsere Verbindungsdaten speichern müssen, und zu Websites, die unsere IP-Adressen verfolgen. All dies sind Beispiele für personenbezogene Daten, die wir ausgeben und die erhoben werden, aber wir wissen oft nicht genau, wie diese Daten verwendet werden und wie sensibel sie sein können.

Während dies alle betrifft, sind sozial benachteiligte und marginalisierte Gruppen noch stärker von dieser mangelnden Kontrolle über ihre Daten betroffen. Für Menschen mit Behinderungen, die oft mit Stigmatisierung und Ausgrenzung konfrontiert werden, ist dies eine echte und unmittelbare Bedrohung. Selbst einfache und scheinbar harmlose Interaktionen auf Social Media können schwerwiegende Folgen haben. Lediglich Ihre Kontaktliste und die Interessen, die Sie und Ihre Kontakte haben, können viel über Sie aussagen, einschließlich aller Behinderungen und Gesundheitszustände. In einigen Fällen kann dies die Zugehörigkeit zu sozial benachteiligten und verfolgten Gruppen aufzeigen. Diese Daten in falschen Händen können zu Diskriminierung und sozialer Ausgrenzung führen.

Da die Technologien jedoch stärker verbunden und vernetzt sind, werden diese sensiblen Daten auch ohne das Horten von Daten in sozialen Netzwerken leichter zugänglich. So zeigt beispielsweise die Verwendung von Cloud-basierten Assistenzdiensten, wie z.B. Untertitelung für Menschen mit Hörbehinderungen, Textvereinfachung für Menschen mit kognitiven und Lernbehinderungen und Bilderkennung für Menschen mit Sehbehinderungen, dass der App-Entwickler, der Betriebssystemhersteller oder ein Mitarbeiter des Netzbetreibers zumindest eine wahrscheinliche Behinderung haben. Trojanische Anwendungen, die Informationen von Ihren anderen installierten Anwendungen sammeln, erweitern das Publikum, das Zugang zu sehr persönlichen und potenziell sensiblen Informationen erhält, oft ohne Ihr Wissen.

Dieser Trend setzt sich fort, da die Technologie weiterhin unser tägliches Leben durchdringt. Zum Beispiel hat ein intelligenter Kühlschrank, der beim Einkauf von Lebensmitteln hilft, ein sensibles Wissen über Ihre Essgewohnheiten und Ernährungsbedürfnisse. Das heißt, auch ohne den Einsatz spezialisierter Unterstützungstechnologien erfassen und verarbeiten Alltagsprodukte, die zunehmend mit einer Form der Künstlichen Intelligenz (KI) verbunden und ausgestattet sind, unsere personenbezogenen Daten, die in vielen Fällen sehr sensibel sein können. Zusammengesetzt durch KI-bias (algorithmisch basierte Voreingenommenheit), die für Menschen mit Behinderungen aufgrund fehlender geeigneter Datensätze und inhärenter Einflüsse von Verzerrungen noch höher ist, könnten Haushaltsgeräte wie ein intelligenter Kühlschrank zu Arbeitslosigkeit führen.

Die Technologie bietet vielen Menschen immense Möglichkeiten, insbesondere für Menschen mit Behinderungen, die auf Technologien zur Zugänglichkeit angewiesen sind – nicht nur, um assistierende Technologien zu ermöglichen, sondern auch für alltägliche Produkte und Dienstleistungen, die zu mehr Gleichberechtigung befähigen und dazu beitragen können. Aber es gibt auch ernsthafte Herausforderungen, auch in den Bereichen Privatsphäre und Datenschutz. Der Bericht „Plug and Pray? – Eine Behindertenperspektive zu künstlicher Intelligenz, automatisierter Entscheidungsfindung und neuen Technologien“ des Europäischen Behindertenforums (EEF) beschreibt kritische Herausforderungen an zugängliche Technologien, die die soziale Gerechtigkeit bedrohen. Der Schlüssel zur Bewältigung dieser Herausforderungen liegt in der Anwendung integrativer Designprozesse, die Menschen mit Behinderungen während der gesamten Design- und Entwicklungsphase einbeziehen – „nichts über uns ohne uns“.

 

Weitere Informationen:

Die World Wide Web Consortium (W3C) Web Accessibility Initiative (WAI)

Europäisches Behindertenforum (EEF)

Plug and pray? Eine Behindertenperspektive auf künstliche Intelligenz, automatisierte Entscheidungsfindung und neue Technologien (PDF)

Leicht zu lesen: Wie können neue Technologien die Situation für Menschen mit Behinderungen verbessern? (PDF, 22.03.2019)

Beitrag von Shadi Abou-Zahra, World Wide Web Consortium Web Accessibility Initiative – W3C WAI

 

 

Frankreichs Gesetz über Hassreden bekommt einen Daumen nach unten

Von Chloé Berthélémy

Der französische Gesetzentwurf über Hassreden (auch „Avia-Gesetz“ genannt) wurde vielfach kritisiert. Der Gesetzentwurf wurde im Juli 2019 von der französischen Nationalversammlung verabschiedet und wird im Dezember vom Senat geprüft. Er würde die Plattformen verpflichten, markierte hasserfüllte Inhalte innerhalb von 24 Stunden zu entfernen oder mit Geldbußen belegt zu werden. Die Tschechische Republik hat zunächst eine ausführliche Stellungnahme zu dem Gesetzentwurf übermittelt. Daraufhin forderte die Europäische Kommission Frankreich offiziell auf, die Annahme des Gesetzes zu verschieben und erwähnte in ihrem Schreiben die Gefahr eines Verstoßes gegen die Artikel 3, 14 und 15 der EU-E-Commerce-Richtlinie.

EDRi hat mit Unterstützung seiner Mitglieder Artikel 19 und Access Now der Kommission förmliche Stellungnahmen übermittelt, um vor den großen Fallstricken zu warnen, die der Gesetzentwurf für Avia mit sich bringt. Die Kommission schließt sich EDRi an und fordert Frankreich auf, die Annahme des Legislativvorschlags zu stoppen. Wenn Social Media-Unternehmen nur noch 24 Stunden für eine fundierte Bewertung eines gekennzeichneten Inhalts zur Verfügung stehen, werden sie offiziell zu Schiedsrichtern der Rechtmäßigkeit und „der Wahrheit“ ernannt, was die Meinungsfreiheit im Internet noch stärker beeinträchtigt. Die Geldbußen, die Unternehmen wegen Nichteinhaltung der 24-Stunden-Frist zu zahlen haben, sind für Plattformen mit begrenzten Ressourcen wie gemeinnützige Gemeinschaftsinitiativen wie Wikipedia unverhältnismäßig hoch.

Darüber hinaus wird die strenge Zeitbegrenzung de facto zum Einsatz von Filtertechnologien führen, was zu einer übermäßigen Entfernung von Inhalten führt. Aufgrund der hohen Kontextsensitivität von Hassreden ist es für Inhaltsfilter unmöglich, die Nuancen zwischen tatsächlicher illegaler hasserfüllter Sprache und legalen Inhalten zu verstehen. Darüber hinaus enthält der Gesetzentwurf die Verpflichtung, zu verhindern, dass hasserfüllte Sprachinhalte erneut hochgeladen werden. Dies wird zu einer allgemeinen Filterung aller auf den Plattformen eingestellten Inhalte führen, die mit dem Verbot der allgemeinen Überwachung durch die E-Commerce-Richtlinie nicht vereinbar ist.

Schließlich führt die Vervielfachung der nationalen Gesetze, die sich mit allen möglichen „unerwünschten“ Online-Inhalten befassen, zu einem verwirrenden legislativen Patchwork in Europa. Für Unternehmen und Nutzer bedeutet dies Unsicherheit und verwischt ihr Verständnis dafür, welches Recht für sie gilt. Die Kommission schlägt zu Recht vor, dass sich das Avia-Gesetz mit dem künftigen Digital Services Act (DSA) überschneiden würde, der europäische Regeln dafür vorsieht, wie Plattformen illegale Inhalte im Internet moderieren. Aus diesem Grund kommentiert EDRi bestimmte Elemente des Avia-Gesetzentwurfs, denen die Europäische Kommission bei der Entwicklung ihres eigenen Vorschlags besondere Aufmerksamkeit schenken sollte.

 

Weitere Informationen:

EDRi: Beitrag zur Prüfung des französischen Gesetzentwurfs zur Bekämpfung von Hassinhalten im Internet (PDF, 18.11.2019)

Ein privat verwalteter öffentlicher Raum? (20.11.2019)

Inhaltsregulierung – was ist der (Online-)Schaden? (09.10.2019)

Wie die Sicherheitspolitik den digitalen Binnenmarkt kapert? (02.09.2019)

Hassrede online: Lehren zum Schutz der freien Meinungsäußerung (29.10.2019)

 

Beitrag von Chloé Berthélémy, EDRi

 

 

Serbien: Videoüberwachung mit rechtswidriger Gesichtserkennung in Belgrad

Von SHARE Foundation

Am 3. Dezember 2019 veröffentlichte das EDRi-Mitglied SHARE Foundation zusammen mit zwei weiteren Organisationen einen Policy Brief über ein neues „Smart Video Surveillance System“ in Belgrad. Der Bericht hebt hervor, dass die vom serbischen Innenministerium durchgeführte Folgenabschätzung der Videoüberwachung im Bereich der Menschenrechte nicht den gesetzlichen Anforderungen entsprach und der Einrichtung des Systems grundlegende Transparenz fehlt. SHARE erklärt, dass der Prozess unverzüglich ausgesetzt werden sollte, und die Behörden sollten eine umfassende öffentliche Debatte über die Notwendigkeit, die Auswirkungen und die Konditionalität eines solchen Systems führen.

Die Installation einer intelligenten Videoüberwachung in Belgrad mit Tausenden von Kameras und Gesichtserkennungssoftware hat in der Öffentlichkeit zu Bedenken geführt. Hunderte von Menschen haben Anfragen zur Informationsfreiheit (Freedom of Information, FOI) an das Innenministerium (MoI) gerichtet, während Beamte widersprüchliche Aussagen machten und wichtige Informationen zurückhielten. Daher hat die Zivilgesellschaft versucht, die Einführung neuer Formen der Videoüberwachung im öffentlichen Raum zu bewerten.

Drei zivilgesellschaftliche Organisationen – SHARE Foundation, Partners for Democratic Change Serbia (Partners Serbia) und Belgrade Centre for Security Policy (BCSP) – veröffentlichten eine detaillierte Analyse der Data Protection Impact Assessment (DPIA) des MoI über den Einsatz von intelligenter Videoüberwachung. Die Schlussfolgerung war, dass das Dokument nicht die formalen oder materiellen Bedingungen erfüllt, die das Gesetz über den Schutz personenbezogener Daten in Serbien vorschreibt.

Der Kommissar für den Schutz personenbezogener Daten in Serbien veröffentlichte seine Stellungnahme zum DPIA und bestätigte diese Ergebnisse. Nach Ansicht des Kommissars wurde die DPIA nicht in Übereinstimmung mit den Anforderungen des Gesetzes über den Schutz personenbezogener Daten durchgeführt; es ist nicht klar, auf welches Überwachungssystem sie sich bezieht und was die Rechtsgrundlagen dafür sind; sie enthält weder eine Risikobewertung der Rechte und Freiheiten der betroffenen Personen noch eine umfassende Beschreibung der Datenschutzmaßnahmen.

Wie hat alles angefangen?

Anfang 2019 gaben der Innenminister und der Polizeichef die Platzierung von 1000 Kameras an 800 Orten in Belgrad bekannt. Die Öffentlichkeit wurde darüber informiert, dass diese Überwachungskameras über eine Gesichts- und Kennzeichenerkennungssoftware verfügen werden.

Danach forderten zivilgesellschaftliche Organisationen das MoI auf, Informationen über:

1. öffentliche Auftragsvergabe für die Kameras,
2. Folgenabschätzung zum Schutz personenbezogener Daten, die nach dem Gesetz zum Schutz personenbezogener Daten entwickelt werden muss,
3. Kamerastandorte und
4. Kriminalitätsrisikobewertung auf der Grundlage derer die Kamerastandorte ermittelt wurden.

Das MoI antwortete, dass alle Dokumente für die öffentliche Beschaffung von Videogeräten vertraulich sind, während die Informationen über Standorte und die Analyse der Kriminalitätsrate in keinem Dokument, die das Ministerium besitzt, enthalten sind, was aber eine rechtliche Voraussetzung für den Zugang zu Informationen von öffentlicher Bedeutung in Serbien ist. Das MoI fügte hinzu, dass die Folgenabschätzung der Datenverarbeitung zum Schutz personenbezogener Daten noch nicht abgeschlossen ist, da die Umsetzung des neuen Gesetzes zum Schutz personenbezogener Daten noch nicht begonnen hat; die Antworten des MoI enthalten jedoch einige Informationen über die Zusammenarbeit mit dem chinesischen Unternehmen Huawei bei der Verbesserung des Informations- und Telekommunikationssystems durch das Projekt „Safe City“. Das MoI schloss 2017 eine strategische Partnerschaftsvereinbarung mit Huawei, die auf die Einführung von eLTE-Technologien abzielt. Die serbische Regierung hat 2016 die Zustimmung zu dieser Vereinbarung erteilt. Gleichzeitig veröffentlichte Huawei deutlich mehr Informationen über ihre Zusammenarbeit mit dem MoI. Huawei erklärte, dass sie MoI intelligente Videoüberwachung und intelligente Transportsysteme, fortschrittliche 4G-Netze, einheitliche Rechenzentren und zugehörige Kommandozentralen anbiete. Darüber hinaus wurden ursprünglich neun Testkameras an fünf Standorten installiert, die laut Huawei erfolgreich durchgeführt wurden. Diese Information war der serbischen Öffentlichkeit unbekannt.

Huawei entfernte den Inhalt der Kooperation mit dem MoI von der offiziellen Website, kurz nachdem die SHARE Foundation einen Bericht veröffentlicht hatte, der Informationen enthielt, die Huawei bereits online veröffentlicht hatte. Die archivierte Version ist weiterhin verfügbar. In der Zwischenzeit sagte der Innenminister, dass 2000 statt 1000 Kameras installiert werden sollen.

Schließlich hat das MoI im September 2019 die DPIA ausgearbeitet und dem Kommissionsmitglied zur Stellungnahme vorgelegt. Für die Zivilgesellschaft war dies eine lobenswerte Reaktion der Behörden, zumal das neue Gesetz zum Schutz personenbezogener Daten Ende August in Kraft getreten ist und die DPIA im September 2019 abgeschlossen wurde.

Eine unzureichende Folgenabschätzung

Die Gelegenheit, alle Fragen von öffentlichem Interesse über die DPIA des MoI zu behandeln, wurde verpasst, ebenso wie die Verpflichtung, die formalen und materiellen Bedingungen zu erfüllen, die das Gesetz zum Schutz personenbezogener Daten vorschreibt.

Die DPIA erfüllt nicht die gesetzlichen Mindestanforderungen, insbesondere in Bezug auf die intelligente Videoüberwachung, die für die in- und ausländische Öffentlichkeit von größtem Interesse und Anliegen ist. Die Methodik und Struktur des DPIA entspricht daher nicht den Anforderungen des Gesetzes zum Schutz personenbezogener Daten:

• Es gibt keine umfassende Beschreibung der beabsichtigten Maßnahmen zur Verarbeitung personenbezogener Daten im Falle einer intelligenten Videoüberwachung;
• Es gibt keine Risikobewertung in Bezug auf die Rechte und Freiheiten der betroffenen Personen;
• Die Maßnahmen, die in Bezug auf das Bestehen von Risiken zu ergreifen sind, werden nicht beschrieben;
• Die technischen, organisatorischen und personellen Maßnahmen zum Datenschutz sind nur teilweise beschrieben; und
• Die Rechtsgrundlage für den Masseneinsatz intelligenter Videoüberwachungssysteme ist umstritten.

Die im DPIA beschriebenen positiven Auswirkungen auf die Kriminalitätsbekämpfung werden überschätzt, da relevante Forschungs- und Vergleichspraktiken selektiv eingesetzt wurden.

Es wurde nicht festgestellt, dass der Einsatz intelligenter Videoüberwachung im Interesse der öffentlichen Sicherheit notwendig ist oder dass der Einsatz solcher invasiver Technologien angesichts der Risiken für die Rechte und Freiheiten der Bürger verhältnismäßig ist.

Die DPIA enthält Beispiele aus Ländern, die stark auf Videoüberwachung und Gesichtserkennungstechnologie angewiesen sind, und vernachlässigt den wachsenden Trend, solche Systeme aufgrund der festgestellten Risiken für die Rechte und Freiheiten der Bürger weltweit zu verbieten oder einzuschränken. Schließlich gibt es zahlreiche Bedenken und Unstimmigkeiten über den Einsatz von intelligenter Videoüberwachung im Vergleich zum DPIA und Aussagen von MoI-Beamten in den Medien.

Beenden Sie jetzt die intelligente Videoüberwachung!

Das MoI sollte die weitere Einführung intelligenter Videoüberwachungssysteme aussetzen. Darüber hinaus sollten das MoI und der Kommissar eine umfassende öffentliche Debatte über die Rechtsvorschriften und Praktiken der Videoüberwachung einleiten, die im Einklang mit einer Charta über die demokratische Anwendung der Videoüberwachung in der Europäischen Union stehen wird.

 

Weitere Informationen:

SHARE-Stiftung

Rechtswidrige Videoüberwachung mit Gesichtserkennung in Belgrad (04.12.2019)

Kurzdarstellung: Die serbische Regierung führt in Belgrad eine rechtswidrige Videoüberwachung mit Gesichtserkennung ein (PDF, 03.12.2019).

 

Beitrag des EDRi-Mitglieds SHARE Foundation, Serbien

 

 

Deutsche Übersetzung der englischsprachigen Originalbeiträge von EDRi von Lutz Martiny