EDRi-gram EU Datenschutz

EDRi-gram 18.11, 10. Juni 2020

  1. Kann die EU die KI „vertrauenswürdig“ machen? Nein – aber sie kann sie gerecht machen
  2. COVID-Tech: die finsteren Folgen von Immunitätspässen
  3. GROßBRITANNIEN: Stopp der Überwachung sozialer Medien durch lokale Behörden
  4. Kryptogeld-Betrüger überschwemmen Facebook-Benutzer mit manipulativen Anzeigen
  5. Die Kampagne von SHARE trägt Früchte: Google ernennt serbische Vertreter

 

Kann die EU die KI „vertrauenswürdig“ machen? Nein – aber sie kann sie gerecht machen

Von EDRi

Heute, am 4. Juni 2020, hat European Digital Rights (EDRi) seine Antwort auf die Konsultation der Europäischen Kommission zum KI-Weißbuch vorgelegt. Zusätzlich zu unserer Antwort skizzieren wir in unserem Zusatzdokument Empfehlungen an die Europäische Kommission für eine auf den Grundrechten basierende KI-Verordnung. Unsere Antwort auf die Konsultation, das Empfehlungspapier und den Leitfaden zur Beantwortung für die Öffentlichkeit finden Sie hier.

Wie eine „vertrauenswürdige KI“ gewährleistet werden kann, wird seit der Veröffentlichung des Weißbuchs der Europäischen Kommission zur künstlichen Intelligenz im Februar dieses Jahres heftig debattiert. Politische Entscheidungsträger und die Industrie haben zahlreiche Gespräche über „Innovation“, „Europa wird führend in der KI“ und die Förderung einer „fairen KI“ geführt.

Eine „faire“ oder „vertrauenswürdige“ künstliche Intelligenz scheint jedoch in weiter Ferne zu liegen. Während Regierungen, Institutionen und die Industrie rasch dazu übergehen, die künstliche Intelligenz in ihre Systeme und Entscheidungsprozesse zu integrieren, bestehen nach wie vor ernsthafte Bedenken, wie sich diese Veränderungen auf die Menschen, die Demokratie und die Gesellschaft insgesamt auswirken werden.

Die Antwort von EDRi umreißt die Hauptrisiken, die die künstliche Intelligenz für Menschen, Gemeinschaften und die Gesellschaft darstellt, und umreißt Empfehlungen für einen verbesserten, wirklich „menschenzentrierten“ Gesetzesvorschlag zur künstlichen Intelligenz. Wir plädieren dafür, dass die EU die bereits in der Allgemeinen Datenschutzverordnung (GDPR) verankerten Schutzbestimmungen verstärken, klare rechtliche Grenzen für AI aufzeigen, indem sie sich auf die unzulässige Verwendung konzentriert, und die Prinzipien der kollektiven Wirkung, der demokratischen Kontrolle, der Rechenschaftspflicht und der Grundrechte in den Vordergrund stellen muss. Hier ist eine Zusammenfassung unserer Hauptpunkte.

Die Menschen vor die Industriepolitik stellen

Ein „menschenzentrierter“ Ansatz in Bezug auf die künstliche Intelligenz erfordert, dass Überlegungen zu Sicherheit, Gleichheit, Privatsphäre und Grundrechten die Hauptfaktoren sind, die der Entscheidung zugrunde liegen, ob die künstliche Intelligenz gefördert oder in sie investiert werden soll.

Der Vorschlag der Europäischen Kommission im Weißbuch geht jedoch von den inhärenten wirtschaftlichen Vorteilen der Förderung der künstlichen Intelligenz, insbesondere im öffentlichen Sektor, aus. Die Förderung der künstlichen Intelligenz im öffentlichen Sektor insgesamt, ohne dass wissenschaftliche Beweise zur Rechtfertigung der Notwendigkeit oder des Zwecks solcher Anwendungen in einigen potenziell schädlichen Situationen erforderlich sind, wird wahrscheinlich die direktesten Auswirkungen auf das Alltagsleben der Menschen, insbesondere der Randgruppen, haben.

Trotz weitreichender Anwendungen, die unsere Gesellschaften voranbringen könnten (wie z.B. einige Anwendungen im Gesundheitsbereich), haben wir auch die enormen negativen Auswirkungen von automatisierten Systemen gesehen, die an der Grenze im Einsatz sind, in prädiktiven Polizeisystemen, die die übermäßige Überwachung rassistisch motivierter Gemeinschaften verschärfen, in „Betrugserkennungssystemen“, die auf arme, Arbeiterklasse- und Migrantengebiete abzielen, und unzählige weitere Beispiele [link to explainer]. All diese Beispiele verdeutlichen die potenziell verheerenden Folgen, die Systeme der Künstlichen Intelligenz im öffentlichen Sektor haben können, und bestreiten, dass die „Förderung der Verbreitung der künstlichen Intelligenz“ gerechtfertigt ist. Diese Beispiele verdeutlichen die Notwendigkeit, dass die Regulierung der KI in einem humanzentrierten Ansatz verwurzelt sein muss.

„Die Entwicklung von Technologien der künstlichen Intelligenz bietet enorme potenzielle Chancen zur Verbesserung unserer Wirtschaft und Gesellschaft, aber auch extreme Risiken. Schlecht konzipierte und geregelte KI wird Machtungleichgewichte und Ungleichheit verschärfen, die Diskriminierung verstärken, in die Privatsphäre eindringen und eine ganze Reihe anderer Rechte untergraben. Die EU-Gesetzgebung muss sicherstellen, dass dies nicht passieren kann. Die Rechte von niemandem sollten auf dem Altar der Innovation geopfert werden“

sagte Chris Jones, Statewatch.

Gegen kollektive Schäden der KI vorgehen

Das enorme potenzielle Ausmaß und die Auswirkungen von KI-Systemen stellen bestehende Schadenseinschätzungen in Frage. Zwar können wir die Herausforderungen, die die KI mit sich bringt, in vielerlei Hinsicht als Fragen der Grundrechte betrachten, doch oft sind die verübten Schäden viel umfassender und benachteiligen Gemeinschaften, Wirtschaft, Demokratie und ganze Gesellschaften. Von der drohenden Gefahr einer massenhaften Überwachung als Folge der biometrischen Verarbeitung in öffentlich zugänglichen Räumen über den Einsatz automatisierter Systeme oder „Upload-Filter“ zur Moderation von Inhalten in sozialen Medien bis hin zu schwerwiegenden Störungen des demokratischen Prozesses gehen die Auswirkungen unseres Erachtens weit über die Ebene des Einzelnen hinaus. Eine Besonderheit der Regulierung der KI ist die Notwendigkeit, sich mit den Schäden auf gesellschaftlicher Ebene auseinanderzusetzen.

Schadensvermeidung durch Konzentration auf unzulässige Nutzung

So wie die Probleme mit KI kollektiver und struktureller Natur sind, so müssen auch die Lösungen sein. Das Weißbuch der Europäischen Kommission skizziert einige Schutzmaßnahmen zur Bekämpfung der „risikoreichen“ AI, wie z.B. die Anpassung von Daten zur Korrektur von Voreingenommenheit und die Gewährleistung menschlicher Aufsicht. Obwohl diese Schutzmaßnahmen von entscheidender Bedeutung sind, werden sie nicht die irreparablen Schäden beheben, die sich aus einer Reihe von Anwendungen der AI ergeben werden.

„Die EU muss über technische Lösungen für die komplexen Probleme der künstlichen Intelligenz hinausgehen. Stattdessen muss die anstehende KI-Verordnung die rechtlichen Grenzen, unzulässige Verwendungen oder „rote Linien“ für KI-Anwendungen festlegen. Dies ist ein notwendiger Schritt für eine menschenzentrierte, grundrechtsorientierte KI“.

sagt Sarah Chander, Senior Policy Adviser, EDRi.

Das EDRi-Netzwerk listet einige der unzulässigen Verwendungen der KI auf:

  • unterschiedslose biometrische Überwachung und biometrische Erfassung und Verarbeitung im öffentlichen Raum1
  • Verwendung der KI, um ausschließlich den Zugang zu oder die Bereitstellung von wesentlichen öffentlichen Dienstleistungen (wie soziale Sicherheit, Polizei, Migrationskontrolle) zu bestimmen
  • Anwendungen der KI, die vorgeben, Emotionen, Stimmung, Verhalten und sensible Identitätsmerkmale (wie Rasse, Behinderung) bei der Erbringung wesentlicher Dienstleistungen zu identifizieren, zu analysieren und zu bewerten
  • vorausschauende Polizeiarbeit
  • autonome tödliche Waffen und andere Verwendungen, die Ziele für tödliche Gewalt identifizieren (z.B. Rechts- und Einwanderungsvollzug)

„Die EU muss sicherstellen, dass Staaten und Unternehmen ihren Verpflichtungen und Verantwortlichkeiten zur Achtung und Förderung der Menschenrechte im Zusammenhang mit automatisierten Entscheidungssystemen nachkommen. Die EU-Institutionen und die nationalen politischen Entscheidungsträger müssen ausdrücklich anerkennen, dass es rechtliche Grenzen für den Einsatz und die Auswirkungen der Automatisierung gibt. Kein Schutz oder Rechtsmittel würde eine unterschiedslose biometrische Überwachung oder vorausschauende Polizeiarbeit akzeptabel, gerechtfertigt oder mit den Menschenrechten vereinbar machen“

sagte Fanny Hidvegi, Europe Policy Manager bei Access Now

Demokratische Aufsicht über die KI in der öffentlichen Sphäre fordern

Die rapide zunehmende Verbreitung von KI-Systemen stellt ein wichtiges Governance-Problem dar. Aufgrund der (geplanten) Undurchsichtigkeit der Systeme, des völligen Mangels an Transparenz seitens der Regierungen, wenn solche Systeme für öffentliche, wesentliche Funktionen eingesetzt werden, und des systematischen Mangels an demokratischer Aufsicht und demokratischem Engagement fördert die KI die „Machtasymmetrie zwischen denjenigen, die KI-Technologien entwickeln und einsetzen, und denjenigen, die mit ihnen interagieren und ihnen unterworfen sind „2.

Infolgedessen werden Entscheidungen mit Auswirkungen auf den öffentlichen Dienst undurchsichtiger, kommen zunehmend in Privatbesitz und dadurch noch weniger der demokratischen Kontrolle unterworfen sein. Es ist von entscheidender Bedeutung, dass der Regulierungsvorschlag der EU zur künstlichen Intelligenz hier Abhilfe schafft, indem er verbindliche Maßnahmen der demokratischen Kontrolle für die Beschaffung und den Einsatz von künstlicher Intelligenz im öffentlichen Sektor und bei wesentlichen Dienstleistungen einführt. Darüber hinaus muss die EU-Methoden des direkten öffentlichen Engagements für KI-Systeme untersuchen. In dieser Hinsicht sollten die Behörden verpflichtet werden, speziell Randgruppen zu konsultieren, die wahrscheinlich unverhältnismäßig stark von automatisierten Systemen betroffen sind.

Den größtmöglichen Schutz der Grundrechte durchsetzen

Die Verordnung zur künstlichen Intelligenz muss die bereits in der Allgemeinen Datenschutzverordnung (GDPR) verankerten Schutzbestimmungen stärken, anstatt sie zu ersetzen. Die Europäische Kommission hat die Möglichkeit, diese Schutzbestimmungen durch Schutzmaßnahmen für die künstliche Intelligenz zu ergänzen. Um den Menschen in den Mittelpunkt zu stellen und den größtmöglichen Schutz zu gewährleisten, sollten alle Systeme obligatorische Folgenabschätzungen zu den Menschenrechten durchführen. In dieser Bewertung sollten die kollektiven, gesellschaftlichen, institutionellen und Governance-Implikationen, die das System mit sich bringt, bewertet und angemessene Schritte zur Abmilderung dieser Auswirkungen skizziert werden.

„Der Einsatz solcher Systeme für vorausschauende Zwecke ist mit hohen Risiken für Menschenrechtsverletzungen verbunden. Die Einführung ethischer Richtlinien und Standards für die Gestaltung und den Einsatz dieser Instrumente ist zu begrüßen, reicht aber nicht aus. Stattdessen müssen die Europäische Union und die Mitgliedstaaten die Einhaltung der geltenden rechtlichen Rahmenbedingungen sicherstellen und klare rechtliche Grenzen ziehen, um sicherzustellen, dass AI immer mit den Grundrechten vereinbar ist“,

sagt Eleftherios Chelioudakis – Homo Digitalis

Die Position von EDRi fordert, dass den Grundrechten im Regulierungsvorschlag für alle KI-Systeme Priorität eingeräumt wird, nicht nur den als „risikoreich“ eingestuften. Wir argumentieren, dass die KI-Regulierung die Schaffung von Schlupflöchern oder Ausnahmen auf der Grundlage des Sektors, der Größe des Unternehmens oder der Tatsache, ob das System im öffentlichen Sektor eingesetzt wird oder nicht, vermeiden sollte.

„Es ist für die EU von entscheidender Bedeutung zu erkennen, dass die Einführung von KI-Anwendungen nicht unvermeidlich ist. Der Entwurf, die Entwicklung und der Einsatz von Systemen muss anhand von Menschenrechtsstandards getestet werden, um ihre angemessene und akzeptable Nutzung zu ermitteln. Rote Linien sind daher ein wichtiger Teil des KI-Governance-Puzzles. Es ist besonders wichtig, die unzulässige Nutzung von Anfang an zu erkennen, da sich automatisierte Entscheidungsfindungssysteme in unverhältnismäßiger, ungleicher und manchmal irreversibler Weise auf die Gesellschaft auswirken“,

sagte Vidushi Marda, leitende Programmbeauftragte, bei ARTIKEL 19

Die rasche Verbreitung der KI wird unsere Gesellschaft grundlegend verändern. Aus menschenrechtlicher Sicht haben KI-Systeme die Fähigkeit, die Überwachung und das Eindringen in unser Privatleben zu verschärfen, die Bereitstellung öffentlicher und grundlegender Dienste fundamental zu verändern, wichtige Datenschutzgesetze massiv zu untergraben und den demokratischen Prozess zu stören.

Für einige wird die künstliche Intelligenz verstärkten, tieferen Schaden bedeuten, da solche Systeme bestehende Prozesse der Marginalisierung nähren und einbetten. Für alle wird der Weg zu Abhilfe, Rechenschaftspflicht und Gerechtigkeit immer unklarer werden, da sich diese Machtasymmetrie weiter auf private Akteure verlagert und öffentliche Güter und Dienstleistungen nicht nur automatisiert, sondern auch in privater Hand sein werden.

Es gibt keine „vertrauenswürdige KI“ ohne klare rote Linien für den unzulässigen Einsatz, ohne demokratische Aufsicht und ohne einen wirklich grundrechtsbasierten Ansatz für die Regulierung der KI. Der bevorstehende Legislativvorschlag der Europäischen Union zur künstlichen Intelligenz (KI) ist eine große Chance, dies zu ändern; er soll Menschen und Demokratie vor den eskalierenden wirtschaftlichen, politischen und sozialen Problemen schützen, die die KI aufwirft.

Fußnoten:

1 EDRi (2020). „Biometrische Massenüberwachung verbieten: Eine Reihe von Grundrechtsforderungen an die Europäische Kommission und die Mitgliedsstaaten“ (PDF)
2 Europa-Rat (2019). Verantwortung und AI DGI(2019)05 Berichterstatter: Karen Yeung

Weitere Informationen:

Antwort auf die EDRi-Konsultation: Konsultation der Europäischen Kommission zum Weißbuch über künstliche Intelligenz (PDF)

EDRI-Empfehlungen für eine grundrechtsorientierte Regelung zur künstlichen Intelligenz: Bekämpfung kollektiver Schäden, demokratische Aufsicht und unzulässiger Einsatz (PDF)

Access now, Antwort auf die Konsultation: Konsultation der Europäischen Kommission zum Weißbuch über künstliche Intelligenz

Bits of Freedom (2020). Gesichtserkennung: Eine bequeme und effiziente Lösung, auf der Suche nach einem Problem?

EDRi (2020). Biometrische Massenüberwachung verbieten: Eine Reihe von Grundrechtsforderungen an die Europäische Kommission und die Mitgliedstaaten

Datenschutz International und Artikel 19 (2018). Privatsphäre und Meinungsfreiheit im Zeitalter der künstlichen Intelligenz

 

COVID-Tech: die finsteren Folgen von Immunitätspässen

Von Ella Jakubowska

In der Serie von EDRi über COVID-19, COVIDTech, untersuchen wir die kritischen Prinzipien für den Schutz der Grundrechte bei gleichzeitiger Eindämmung der Verbreitung des Virus, wie sie in der Erklärung des EDRi-Netzwerks zur Pandemie dargelegt sind. Jeder Beitrag in dieser Serie befasst sich mit einem spezifischen Thema an der Schnittstelle zwischen digitalen Rechten und der globalen Pandemie, um weitergehende Fragen zum Schutz der Grundrechte in Krisenzeiten zu untersuchen. In unserer Erklärung betonten wir das Prinzip, dass Staaten „die Meinungs- und Informationsfreiheit verteidigen“ müssen. In diesem vierten Beitrag der Reihe werfen wir einen Blick auf die Frage der Immunitätspässe, ihre technologische Attraktivität und ihre potenziell unheilvollen Folgen für die soziale Ungleichheit und die Grundrechte.

Der gefährliche Reiz der Science-Fiction

Zu Beginn des Coronavirus-Ausbruchs schoss der Pandemie-Schuldig-Unterhaltungs-Film „Contagion“ auf der Liste der meistgesehenen Streaming-Sites ganz nach oben. Einer der interessantesten Handlungspunkte des Films (leichter Spoileralarm) ist der Vorschlag einer einfachen Form eines Immunitätspasses. Armbänder für geimpfte Personen werden als eine offensichtliche Lösung präsentiert – und warum sollte es sie nicht geben? Verschiedene Formen von Immunitätspässen sind eine überzeugende Idee. Es klingt, als könnten sie es uns ermöglichen, zu einem normaleren Leben zurückzukehren. Aber die Realität ist nicht so eindeutig wie im Film, und die Bedrohungen, die unser Leben in Gefahr bringen – insbesondere die Menschen, die durch solche Pläne am meisten geschädigt werden könnten – bedeuten, dass wir unglaublich vorsichtig sein müssen. Der Mangel an Beweisen in Verbindung mit dem Ausmaß der Bedrohung der Grundrechte und -freiheiten durch diese Machenschaften zeigt, dass – digitale oder andere – Immunitätspässe nicht eingeführt werden dürfen.

Immunitätspässe – die Wissenschaft sagt „Nein“

In den letzten Wochen sind „digitale Immunitätspässe“, Zertifikate, Apps und andere ähnliche Ideen in den Diskussionen über den Ausstieg aus der globalen Abschottung in den Vordergrund gerückt, wobei Vorschläge in Deutschland, Italien, Kolumbien, Argentinien und den USA auftauchten, um nur einige zu nennen. Es ist ein legitimes politisches Ziel, den Menschen zu helfen, sichere Wege zu finden, um in dieser „neuen Normalität“ zu existieren. Doch all diese Vorschläge beruhen auf dem gefährlichen Trugschluss, dass wir wissen und verstehen, wie die „Immunität“ gegen das Coronavirus aussieht.

Die WHO hat in ihrer Einschätzung klar zum Ausdruck gebracht, dass es „derzeit keine Beweise“ für eine Immunität gibt und dass solche Programme tatsächlich Anreize für riskantes Verhalten bieten können. Die medizinische Fachzeitschrift The Lancet fügt hinzu, dass solche Vorschläge „unpraktisch sind, aber auch erhebliche gerechte und rechtliche Bedenken aufwerfen, selbst wenn solche Einschränkungen [aufgrund unseres mangelnden Wissens über die Immunität] korrigiert werden“. Und das Wissenschaftsmagazin Nature warnt davor, dass Immunitätspässe der öffentlichen Gesundheit tatsächlich schaden können. Wenn Experten für öffentliche Gesundheit vor Immunitätspässen warnen – selbst wenn wir noch etwas mehr über die COVID-19-Immunität wissen -, warum werden sie dann von Regierungen und privaten Akteuren immer noch als Wundermittel eingesetzt?

Wie bei den umstrittenen Tracking und Contact Tracing Apps gibt es eine Reihe von Bedenken hinsichtlich der Privatsphäre und des Datenschutzes, wenn solche Systeme „digital“ werden. Individuelle Gesundheitsdaten sind sehr sensibel, ebenso wie Daten über unsere Standorte und Interaktionen. Wie es oft bei privaten Unternehmen der Fall ist, die Vorschläge aggressiv vorantreiben (hallo TransferWise und Bolt in Estland), gibt es ernsthafte Bedenken hinsichtlich der Transparenz, der Rechenschaftspflicht und der Frage, wer wirklich davon profitiert. EDRi hat davor gewarnt, dass die Instrumente des öffentlichen Gesundheitswesens für die Öffentlichkeit zugänglich und in Umfang, Zweck und Zeit begrenzt sein sollten. Können wir angesichts der Tatsache, dass private Unternehmen von dieser Krise profitieren wollen, zuversichtlich sein, dass dies geschehen wird? Die aus den Programmen zur digitalen Identifizierung gezogenen Lehren lassen vermuten, dass wir Gründe haben, sehr skeptisch zu sein.

Eine neue Generation von „Habenden“ und „Habenichtsen“

Das Kernproblem der Immunitätspässe besteht darin, dass sie wahrscheinlich dazu dienen werden, zu entscheiden, wer am öffentlichen Leben teilnehmen darf und wer nicht: wer arbeiten gehen kann – und damit Geld verdienen kann, um sich und seine Familie zu ernähren; wer zur Schule gehen kann; und sogar wer in Hotels übernachten darf. Im Wesentlichen könnten diese „Pässe“ darüber entscheiden, wer seine Grundrechte ausüben kann und wer nicht.

Wie sowohl Privacy International (PI) als auch Access Now erläutern, sagt uns das Gesetz, dass jede Einschränkung der Rechte der Menschen wirklich gut begründet sein muss, ein hohes Maß an Notwendigkeit und Verhältnismäßigkeit erfüllen und auch eine klare Rechtsgrundlage haben muss. Diese Kriterien bedeuten, dass Maßnahmen, die die Rechte der Menschen einschränken, nachweislich wirksam sein müssen, keine gangbare Alternative haben, das Wesen der Grundrechte nicht verletzen und über klare Schutzvorkehrungen verfügen müssen. Dies ist eine sehr hohe Anzahl von Kriterien, die erfüllt werden müssen. Vor dem Hintergrund fehlender wissenschaftlicher Beweise, erheblicher Risiken durch falsch positive und falsch negative Ergebnisse und großer Bedenken hinsichtlich des Datenschutzes und der Privatsphäre wird die Idee der Pässe mit digitaler Immunität noch finsterer. Das hat Technologieunternehmen wie Onfido nicht davon abgehalten, bei ihren nationalen Gesundheitsdiensten oder Regierungen Lobbyarbeit zu betreiben, damit diese ihre Dienste für biometrische Immunitätspässe übernehmen.

Biometrische Überwachung und die Risiken von hyper-verbundenen Daten

Im weiteren Sinne sind digitale Immunitätspässe – insbesondere solche, die mit den sensiblen biometrischen Daten von Personen verknüpft sind – Teil einer wachsenden Massenüberwachungsinfrastruktur, die Menschen über Zeit und Ort hinweg beobachten, analysieren und kontrollieren kann. Solche Systeme sind auf das Führen von Massendatenbanken über Personen angewiesen (was an sich schon mit großen Risiken des Hackens und der unbefugten Weitergabe verbunden ist) und schaden dem Kern der Rechte der Menschen auf Würde, Privatsphäre und körperliche Unversehrtheit. Die Kombination von Gesundheitsdaten mit biometrischen Daten erhöht die Fähigkeit von Staaten und privaten Akteuren, sehr detaillierte, aufdringliche und intime Aufzeichnungen über Menschen anzulegen. Dies kann wiederum einen abschreckenden Effekt auf die Meinungs- und Versammlungsfreiheit haben, indem es Menschen davon abhält, sich an Protesten zu beteiligen, die politische Opposition unterdrückt und Menschenrechtsverteidiger und Journalisten gefährdet. Wie die Stiftung Panoptykon erklärt hat, sind solche Systeme reif für den Missbrauch durch Regierungen, die die Freiheiten der Menschen kontrollieren wollen.

Diskriminierung und ungleiche Auswirkungen, die eine gespaltene Gesellschaft schaffen

Es ist absehbar, dass die Einführung von Immunitätspässen ungleiche und unverhältnismäßige Auswirkungen auf diejenigen haben wird, die bereits jetzt mit dem höchsten Maß an Armut, Ausgrenzung und Diskriminierung in der Gesellschaft konfrontiert sind. Diejenigen mit den kleinsten Sicherheitsnetzen, wie z.B. Menschen in prekären und schlecht bezahlten Arbeitsverhältnissen, werden diejenigen sein, die am wenigsten in der Lage sind, zu Hause zu bleiben. Der Druck, nach draussen gelassen zu werden – und die Auswirkungen, dies nicht tun zu dürfen – werden daher ungleich verteilt sein. Wir wissen, dass einige Menschen stärker gefährdet sind, wenn sie sich mit dem Virus infizieren: Menschen mit gesundheitlichen Problemen, ältere Menschen und im Vereinigten Königreich auch Schwarze. Diese Ungleichheit, wer am meisten leidet, wird die bereits bestehende ungleiche Verteilung in unseren Gesellschaften wiederholen. Und wenn Immunitätspässe digital verwaltet werden, dann werden diejenigen, die keinen Zugang zu einem Gerät haben, automatisch ausgeschlossen. Diese Schichtung der Gesellschaft nach biologischen und gesundheitlichen Merkmalen sowie nach dem Zugang zu Technik ist gefährlich und autoritär.

Lassen Sie Science-Fiction nicht Wirklichkeit werden

Digitale Immunitätspässe sind nicht länger die Domäne der Science-Fiction. Es besteht eine sehr reale Gefahr, dass diese Systeme Innovation und Erscheinungsbild über die öffentliche Gesundheit stellen, was oft als „Technolösungsismus“ bezeichnet wird. Digitale und biometrische Immunitätspässe bedrohen nicht nur die Integrität unserer sensiblen Körper- und Gesundheitsdaten, sondern schaffen auch eine gespaltene Gesellschaft, in der diejenigen, die es sich leisten können, ihre Immunität nachzuweisen, Zugang zu Räumen und Dienstleistungen haben werden, die der Rest nicht hat und dadurch – de facto – zu Bürgern zweiter Klasse wird. Die New York Times nennt dies ein „Immunprivileg“.

Wenn die Zeit gekommen ist, dass wir über solide wissenschaftliche Beweise für die Immunität verfügen, wird es an den Beamten des öffentlichen Gesundheitswesens liegen, herauszufinden, wie sich dies in einer Zertifizierung niederschlagen kann, und an den Datenschutzbehörden und -experten, die die Regierungen dabei unterstützen, sicherzustellen, dass alle Maßnahmen die Grundrechte und -freiheiten strikt respektieren und fördern. Bis dahin sollten wir uns lieber darauf konzentrieren, unsere nationalen Gesundheitssysteme zu verbessern, dafür zu sorgen, dass die Forschung zur Verhütung dieser und künftiger Pandemien (trotz des Drängens von Big Pharma) vorangetrieben wird und dass wir eine neue Gesellschaft aufbauen, die frei von Viren wie COVID-19 und Überwachungskapitalismus ist.

Lesen Sie mehr dazu:

COVID-19 und digitale Rechte: Dokumenten-Pool (04.05.2020)

Biometrische Massenüberwachung verbieten (PDF, 13.05.2020)

Über den App Store verlassen? (PDF, 20.04.2020)

Zehn Gründe, warum Immunitätspässe eine schlechte Idee sind (21.05.2020)

(Auf Polnisch) Certyfikaty odporności przepustką do normalnego życia? Nie idźmy tą drogą! (29.05.2020)

 

 

GROßBRITANNIEN: Stopp der Überwachung sozialer Medien durch lokale Behörden

Von Privacy International

Möchten Sie, dass Ihre lokale Regierung Sie nach Ihren Facebook-Aktivitäten beurteilt? In einer kürzlich durchgeführten Studie haben wir untersucht, wie Kommunalbehörden (Councils) in Großbritannien im Rahmen ihrer Untersuchungstaktiken zu Themen wie Sozialleistungen, Schuldeneintreibung, Betrug, Umweltuntersuchungen und Sozialfürsorge für Kinder die Konten in sozialen Medien betrachten.

Social-Media-Plattformen sind eine riesige Fundgrube an Informationen über Einzelpersonen und Kollektive, einschließlich ihrer persönlichen Vorlieben, politischen und religiösen Ansichten, ihrer körperlichen und geistigen Gesundheit und der Identität ihrer Freunde und Familien. Social Media Monitoring oder Social Media Intelligence (SOCMINT) sind die Techniken und Technologien, die die Überwachung und Sammlung von Informationen auf Social-Media-Plattformen wie Facebook und Twitter ermöglichen.

Auf der Grundlage dieser Informationen könnten lebensverändernde Entscheidungen getroffen werden, doch bisher gibt es noch keine Qualitätsprüfung der Wirksamkeit dieser Form der Überwachung. Dies hat besondere Konsequenzen und unverhältnismäßig negative Auswirkungen auf bestimmte Einzelpersonen und Gemeinschaften.

Was PI herausgefunden hat

Im Oktober 2019 schickte Privacy International eine Anfrage zur Informationsfreiheit an jede Kommunalbehörde in Großbritannien, in der nicht nur gefragt wurde, ob sie ein Audit durchgeführt hatte, sondern auch, inwieweit insbesondere die „offene“ Überwachung sozialer Medien genutzt wurde und wofür die Kommunalbehörde funktioniert.

Wir haben 136 Antworten auf unsere Anfragen zum Thema Informationsfreiheit analysiert, insbesondere diejenigen, die bis November 2019 eingegangen sind. Alle Antworten sind auf der Plattform „What Do They Know“ (https://www.whatdotheyknow.com/info_request_batch/858) öffentlich zugänglich.

Unsere Untersuchung hat dies ergeben:

  • Eine beträchtliche Anzahl von Kommunalbehörden nutzt nun die „offene“ Überwachung sozialer Medien als Teil ihrer Informationssammlungs- und Untersuchungstätigkeiten. Dies übertrifft den Einsatz „verdeckter“ Beobachtung sozialer Medien bei weitem.
  • Wenn Sie keine guten Datenschutzeinstellungen haben, sind Ihre Daten für die offene Überwachung der sozialen Medien ein Freiwild.
  • Es gibt keine Qualitätsprüfung der Wirksamkeit dieser Form der Überwachung der Entscheidungsfindung.
  • Ihr Social-Media-Profil könnte von einer lokalen Behörde ohne Ihr Wissen oder Bewusstsein in einer Vielzahl ihrer Funktionen genutzt werden, vor allem bei der Sammlung von Informationen und bei Ermittlungen.

Der Leitfaden des britischen Überwachungskommissars definiert die offene Überwachung sozialer Medien als die Betrachtung von „Open Source“-Daten, d.h. öffentlich zugänglichen Daten und Daten, bei denen Datenschutzeinstellungen verfügbar sind, aber nicht angewendet werden. Dazu können gehören: „Liste anderer Benutzer, mit denen eine Person eine Verbindung teilt (Freunde/Follower); öffentliche Beiträge der Benutzer: Audio-, Bild-, Videoinhalte, Nachrichten; „Gefällt mir“, geteilte Beiträge und Ereignisse“. Der Leitfaden besagt, dass „[r]epetitive Prüfung/Überwachung öffentlicher Beiträge als Teil einer Untersuchung“ stattdessen eine ‚verdeckte‘ Überwachung darstellt und „einer Bewertung unterzogen werden muss“.

Wer wird ins Visier genommen?

Jeder wird potenziell zur Zielscheibe, da wir alle irgendwann in unserem Leben mit lokalen Behörden interagieren, wenn wir einige der oben aufgeführten Prozesse durchlaufen. Der Unterschied besteht jedoch darin, dass wir alle unterschiedlich betroffen sind.

Wie in vielen anderen Fällen, in denen es um die Digitalisierung und den Einsatz neuer Technologien geht, sind diejenigen, die bereits marginalisierten und prekären Gruppen angehören und die bereits zusätzlichen Kontroll- und Überwachungsmaßnahmen unterworfen sind, erneut am stärksten von solchen Praktiken betroffen.

Es gibt bestimmte Bevölkerungsgruppen, die von der Nutzung solcher Techniken dramatisch betroffen sind, weil sie abhängig sind und den Funktionen der lokalen Behörden unterliegen, wie z.B. Personen, die Sozialhilfe/Wohlfahrt erhalten, sowie Migranten.

Wir haben ähnliche Entwicklungen im Migrationssektor erlebt, wo Regierungen zur Durchsetzung von Einwanderungsbestimmungen auf Social Media Intelligence zurückgreifen. Einige dieser Aktivitäten werden direkt von der Regierung selbst durchgeführt, aber in einigen Fällen fordern die Regierungen Unternehmen auf, ihnen die Instrumente und/oder das Know-how zur Verfügung zu stellen, um diese Art von Aktivitäten durchzuführen.

Wie man die Schwächsten schützt

In dem Maße, wie Kommunalbehörden in Großbritannien und anderswo die Gelegenheit ergreifen, diesen Schatz an Informationen über Einzelpersonen zu nutzen, wird die Nutzung sozialer Medien durch Kommunalbehörden zunehmen, und in Zukunft werden wahrscheinlich ausgefeiltere Instrumente zur Analyse dieser Daten, zur Automatisierung der Entscheidungsfindung und zur Erstellung von Profilen und Annahmen eingesetzt werden.

Die Sammlung und Verarbeitung personenbezogener Daten aus sozialen Medien im Rahmen von Ermittlungen der Kommunalbehörden und der Sammlung von Informationen muss unbedingt notwendig und verhältnismäßig sein, um eine faire Beurteilung einer Person zu ermöglichen. Es muss eine wirksame Aufsicht über den Einsatz der Überwachung sozialer Medien, sowohl offen als auch verdeckt, geben, um sicherzustellen, dass bestimmte Personengruppen nicht unverhältnismäßig stark betroffen sind, und wenn es zu Verstößen gegen Leitlinien und Richtlinien kommt, müssen diese wirksam untersucht und sanktioniert werden.

Es muss dringend sichergestellt werden, dass die notwendigen und angemessenen Schutzvorkehrungen getroffen werden, um diejenigen zu schützen, die sich in den verletzlichsten und prekärsten Positionen befinden, in denen solche Informationen zu tragischen lebensverändernden Entscheidungen wie der Verweigerung von Sozialhilfe führen könnten.

Daher fordern wir die lokalen Behörden dringend auf,

  • von der Überwachung von Aktivitäten in sozialen Medien Abstand zu nehmen und sie ganz zu vermeiden, wenn sie keine klare, öffentlich zugängliche Richtlinie haben, die diese Tätigkeit regelt

Wenn ausnahmsweise verwendet:

  • Lokale Behörden sollten die Überwachung sozialer Medien nur dann einsetzen, wenn sie ihren gesetzlichen Verpflichtungen, einschließlich Datenschutz und Menschenrechte, nachkommen.
  • Jedes Mal, wenn ein Mitarbeiter einer Kommunalbehörde eine Social-Media-Plattform aufruft, wird dies in einem internen Protokoll festgehalten, das unter anderem die folgenden Informationen enthält
    • Datum/Uhrzeit der Ansicht, einschließlich der Dauer der Ansicht einer einzelnen Seite
    • Rechtfertigung/Begründung für die Einsichtnahme und/oder Relevanz für die interne Untersuchung
    • Informationen von der sozialen Plattform erhalten
    • Warum die Beobachtung für notwendig erachtet wurde
    • Gespeicherte Seiten und Speicherort
  • Lokale Behörden sollten interne Richtlinien entwickeln, die u.a. Prüfmechanismen schaffen:
    • Die Verfügbarkeit eines verantwortlichen Mitarbeiters/einer verantwortlichen Mitarbeiterin, der/die Fragen zur zukünftigen Nutzung von Social Media Monitoring beantwortet, sowie seine/ihre Kontaktdaten;
    • Ein bevollmächtigter Beamter, der das interne Protokoll in regelmäßigen Abständen überprüft und befugt ist, interne Empfehlungen auszusprechen.

Wir mögen zwar öffentlich posten, aber wir erwarten nicht, dass lokale Behörden unsere Fotos und Screenshots unserer Gedanken ansehen und diese ohne unser Wissen nutzen, um Entscheidungen zu treffen, die schwerwiegende Folgen für unser Leben haben könnten.

Die zunehmende Einmischung von Regierungsbehörden – ohne öffentliche und parlamentarische Debatte – birgt auch die Gefahr, dass das, was Menschen online sagen, beeinflusst wird, was zu Selbstzensur führt, mit der potenziell schädlichen Auswirkung auf die Redefreiheit. Wir haben vielleicht nichts zu verbergen, aber wenn wir wissen, dass unsere Kommunalbehörde sich unsere Aktivitäten in den sozialen Medien ansieht, werden wir uns wahrscheinlich selbst zensieren.

Social-Media-Plattformen sollten nicht als Räume für den Staat betrachtet werden, in denen er frei Informationen über uns sammeln und Menschen als Verdächtige behandeln kann.

Weitere Informationen:

Wenn Kommunalbehörden nicht Ihre Freunde sind (24.05.2020)

Social Media Monitoring Freedom of Information Freedom of Information Act Antrag an lokale Behörden (24.05.2020)

Der Einsatz von Social Media Monitoring durch lokale Behörden – wer ist ein Ziel? (24.05.2020)

Schaut Ihre Gemeindeverwaltung auf Ihr Facebook gerne? (PDF, 01.05.2020)

Überwachung der sozialen Medien – eine Batch-Anfrage (07.10.2019)

Soziale Medien-Nachforschungen (23.10.2017)

Sicherheit durch Menschenrechte: Bericht über neue Freiheiten (18.10.2017)

Beitrag von Antonella Napolitano vom EDRi-Mitglied Privacy International

 

Kryptogeld-Betrüger überschwemmen Facebook-Benutzer mit manipulativen Anzeigen

Von Metamorphosis

Dieser Artikel wurde ursprünglich von Metamorphosis in Global Voices veröffentlicht.

Betrüger, die gefälschte Forbes-Artikel und Anti-EU-Desinformationen als Köder benutzen, zielen weiterhin auf Facebook-Benutzer in ganz Europa, warnte das EDRi-Mitglied Metamorphosis Foundation.

Die Metamorphosis Foundation mit Sitz in Skopje ist eine zivilgesellschaftliche Organisation aus Nordmazedonien, die sich für digitale Rechte und Medienkompetenz einsetzt.

Ihre Überwachung von sozialen Netzwerken hat ergeben, dass Betrüger weiterhin Facebook-Werbung verwenden, die als Links zu Artikeln der angesehenen Forbes.com maskiert ist. Damit setzt sich der Desinformationstrend fort, der nicht nur China, sondern auch Mitglieder der Europäischen Union wie Schweden betrifft.

Am 19. Mai warnte das Innenministerium von Nordmazedonien die Bürger, dass Betrüger soziale Netzwerke und E-Mails nutzen, um Links zu verbreiten, die fälschlicherweise als Artikel von Forbes.com dargestellt werden, um den Kauf einer angeblichen neuen chinesischen Kryptowährung zu fördern.

Bürger, die auf die Links klicken und persönliche Daten an die Betrüger weitergeben, werden dann durch Telefonanrufe ins Visier genommen, um sie dazu zu bewegen, mit der Zahlung von Ratenzahlungen in Höhe von 250 Dollar zu „investieren“.

Dann werden andere Manipulationstechniken eingesetzt, um die Benutzer zu veranlassen, die Gebühr zu erhöhen.

Die Anti-Cyber-Kriminalitätseinheit der mazedonischen Polizei behauptete, dass die bösartigen Links zu einer in der Ukraine gehosteten Website führen, die angeblich von einem russischen Staatsbürger in ähnlicher Weise betrieben wird wie das entlarvte OneCoin-Ponzi-System des bulgarischen Betrügers Ruja Ignatova, das weltweit einen Schaden von über 4 Milliarden Dollar anrichtete.

Von Facebook öffentlich zur Verfügung gestellte Daten über die geografische Reichweite der Werbung für diese Links lassen vermuten, dass sie weit über die Grenzen Nordmazedoniens hinausgehen, warnen Aktivisten.

Manipulative Anzeigen helfen Betrügern, persönliche Daten von Opfern zu sammeln

Metamorphosis identifizierte mehrere ähnliche Anzeigen, die in sozialen Netzwerken aktiv sind. Benutzer, die auf diese Anzeigen klicken, werden nicht auf Seiten der Website Forbes.com, sondern auf Adressen wie diese weitergeleitet (https://fishing2510.myshopify.com/blogs/news/blogpost-77?fbclid=IwAR3x_uvBatgzsr_wLZtDF1z5A1L7cb5F-T_-kefu36mP7n2I4dPk4jzf8N4).

Bardhyl Jashari, Exekutivdirektor von Metamorphosis, erklärte: „Irreführende Werbung zielt nach wie vor auf Nutzer sozialer Netzwerke auf der ganzen Welt ab. Ausgehend von den von Facebook zur Verfügung gestellten öffentlichen Daten über die Anzeigen, die auf das in Nordmazedonien ansässige Publikum abzielen, zeigte das Metamorphosis-Team auf, dass die gleichen Anzeigen in fast allen europäischen Ländern sowie in Ländern des Nahen Ostens geschaltet werden. Betrüger benutzen Seiten über Kultur, sogar über Cookies (die essbaren), um Anzeigen zu schalten, die die Benutzer zu Webseiten und Blogs führen, die fast genauso aussehen wie die, vor denen die mazedonische Polizei gewarnt hat“.

Dieser gefährliche Trend berührt auch einen weiteren Bereich, in dem Metamorphosis aktiv ist. Seit seiner Gründung im Jahr 2004 arbeitet Metamorphosis an der Förderung der Sicherheit von Kindern im Internet.

Dazu bemerkte auch Jashari:

„Eine sehr beunruhigende Entwicklung ist, dass diese Netzwerke der organisierten Kriminalität auch Seiten nutzen, die sich an Kinder und Jugendliche richten, um ihre bösartigen Inhalte zu tarnen. So hatte zum Beispiel eine Seite, die als Community für das beliebte Spiel MineCraft (mit dem Titel Minecraft) gekennzeichnet war, Anzeigen geschaltet, die weiterhin Desinformationen über Schweden verbreiten und sich an Benutzer in Russland, Österreich, Belgien, aber auch in Singapur, Katar und den Vereinigten Arabischen Emiraten sowie in Dutzenden anderer Länder richten.“

Benutzer, die auf diese Anzeigen klicken, werden zu einer Seite weitergeleitet, die ihnen einen Anreiz bietet, ihre persönlichen Daten zu hinterlassen. Im Fall von Schweden war dies als Rabattcoupon getarnt.

Obwohl MineCraft eine große erwachsene Fangemeinde hat, ist es ein besonders beliebtes Spiel bei Kindern zwischen 9 und 11 Jahren. Diese Praxis trägt dazu bei, ein zukünftiges Publikum zu konditionieren, das sowohl für Desinformation als auch für Betrug besonders anfällig ist.

Was unternimmt Metamorphosis, um diese Taktiken zu bekämpfen?

Im November 2019 warnte Metamorphosis‘ mit dem ProjektCritical Thinking for Media-wise Citizens (CriThink) davor, dass Betrüger von etablierten Desinformationsgeschichten über Schweden profitieren.

Gesponserte Facebook-Posts locken Menschen, die zuvor durch rechtspopulistische Propaganda-Mediennetzwerke mit Sitz in Nordmazedonien vorbereitet worden waren, dazu, Medienmanipulationen über Unruhen im Land und in der Europäischen Union (EU) zu glauben, die ursprünglich von kremlfreundlichen Medien veröffentlicht wurden.

In gleicher Weise förderten diese Artikel gefälschte Nachrichten, dass Schweden eine Krypto-Währung gegen den Euro eingeführt habe.

Um diese geo-gezielten Anzeigen zu lancieren, benutzten die Betrüger eine Reihe von Seiten mit Themen von allgemeinem Interesse, darunter einige, die als inoffizielle Fanclubs westlicher Berühmtheiten wie die Schauspieler Liam Neeson und Anthony Michael Hall gekennzeichnet waren.

CriThink, eine von der EU-Vertretung in Nordmazedonien unterstützte Initiative, schulte die lokalen Nutzer sozialer Medien darin, wie sie die Transparenzfunktionen der von den Betrügern genutzten Facebook-Seiten nutzen können, um die verdächtigen Seiten mit Hilfe der von der Plattform bereitgestellten Mechanismen zu kennzeichnen und zu melden.

Um das Engagement der Bürger bei der Anhebung der Medienkompetenz zu fördern, bieten CriThink-Artikel zu sozialen Netzwerken Anleitungen, wie Benutzer die Meldefunktionen nutzen können, um Administratoren vor schädlichen Inhalten zu warnen, die von Hassreden bis hin zu Betrügereien reichen.

Einige Wochen später, im Dezember 2019, informierte Facebook einige seiner Nutzer, die an der Online-Aktion teilgenommen hatten, dass sie die als Betrug gemeldeten Anzeigen entfernt hatten.

Weitere Informationen:

Kryptogeld-Betrüger überfluten Facebook-Nutzer mit Anzeigen für gefälschte Forbes.com-Artikel (29.05.2020)

Cyber-Kriminalitätseinheit der mazedonischen Polizei warnt vor neuem Betrug mit gefälschter chinesischer Krypto-Währung (19.05.2020)

Der Ein-Münzen-Betrug in Höhe von 4 Milliarden Pfund: Wie die Kryptokönigin Dr. Ruja Ignatova gewöhnliche Menschen um Milliarden betrog – und dann verschwand (15.12.2019)

Disinfo: Von Verbrechen verseuchte No-Go Zones gibt es in mehreren europäischen Ländern (17.10.2019)

(auf Macebonianisch) Дезинформации за Шведска се користат како мамка за корисници на „Фејсбук“ од Северна Македонија (18.11.2019)

Beitrag von Filip Stojanovski vom EDRi-Mitglied Metamorphosis

 

 

Die Kampagne von SHARE trägt Früchte: Google ernennt serbische Vertreter

Von der SHARE-Stiftung

Serbische Bürger können nun ihre Einwände und Anfragen bezüglich der Nutzung ihrer privaten Daten durch Google beim neuen Vertreter des Technikgiganten im Land vorbringen. Google, als einer der ersten Technologieriesen, der das neue serbische Gesetz einhält, schrieb am 21. Mai 2020 einen Brief an den Kommissar für Informationen von öffentlicher Bedeutung und den Schutz personenbezogener Daten, d.h. die serbische Datenschutzbehörde, in dem es hieß, dass deren Vertreter die unabhängige Belgrader Anwaltskanzlei BDK Advokati sein würde. Vor über einem Jahr hatte die SHARE Foundation, ein Mitglied des European Digital Rights (EDRi)-Netzwerks, Google und andere globale Technologieunternehmen aufgefordert, genau diesen Schritt zu tun und sich stärker an die EU-Vorschriften zu halten.

YouTube, Chrome, Android, Gmail, Maps und viele andere digitale Produkte, ohne die das Internet unvorstellbar ist, sind ein wichtiges Segment der Branche, das vollständig auf die Verarbeitung personenbezogener Daten angewiesen ist. Mit erheblicher Verzögerung und zahlreichen Schwierigkeiten haben die Staaten begonnen, in diesem Bereich, der direkt in die grundlegenden Menschenrechte eingreift, für Ordnung zu sorgen. Die Europäische Union hat mit der Verabschiedung der Allgemeinen Datenschutzverordnung (GDPR) diesen Standard gesetzt, während das neue Gesetz über den Schutz personenbezogener Daten in Serbien, das seit August 2019 in Kraft ist, ebenfalls diesem Modell folgte.

Obwohl sie schon seit langem in Serbien tätig sind, betrachten globale Technologiekonzerne die meisten Entwicklungsländer als Gebiete für eine unregulierte Ausbeutung von Bürgerdaten. Ende Mai 2019 sandte SHARE drei Monate vor der Anwendung des neuen Gesetzes über den Schutz personenbezogener Daten die oben erwähnte Anfrage an 20 der größten Technologieunternehmen aus aller Welt und erinnerte sie an ihre Verpflichtungen gegenüber serbischen Bürgern und an die Parameter des neuen nationalen Gesetzes.

Twitter antwortete uns mit dem Hinweis, dass sie daran arbeiten. Eine globale Plattform für die Buchung von Flugtickets, eSky, kontaktierte uns ebenfalls und ernannte ihren Vertreter in Serbien. Im Dezember 2019, als Google und Facebook in der Frage der Ernennung von Vertretern im Land ins Hintertreffen gerieten, erhob SHARE beim serbischen Kommissar Anklage wegen eines Vergehens.

Weitere Informationen:

Offener Brief an den Kommissar für Informationen von öffentlicher Bedeutung und den Schutz personenbezogener Daten (21.05.2020)

(auf Serbisch) Twitter imenuje predstavnika u Srbiji (17.07.2019)

SHARE reicht Beschwerden gegen Facebook und Google ein (05.12.2019)

SHARE fordert Facebook und Google auf, ihre Vertreter in Serbien zu ernennen (21.05.2019)

Organisationen aus ganz Europa bestehen auf eine transparente Ernennung des Kommissars in Serbien (04.12.2018)

Beitrag von Bojan Perkov vom EDRi-Mitglied SHARE Foundation

 

 

 

Deutsche Übersetzung der englischsprachigen Originalbeiträge von EDRi von Lutz Martiny

0 Kommentare zu “EDRi-gram 18.11, 10. Juni 2020

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.