Chatkontrolle: Die EU-Kommission setzt auf anlasslose Massenüberwachung

Was ist

Die EU-Kommission möchte Kindesmissbrauch und die Verbreitung von Child Sexual Abuse Material (CSAM) mit aller Macht bekämpfen. Das ist verständlich. Alles andere als verständlich ist das Gesetz, das sie dafür vorschlägt (ec.europa.eu). Die Pläne hebeln Ende-zu-Ende-Verschlüsselung aus und gefährden die Privatsphäre von Hunderten Millionen Menschen.

Wir stellen den Vorschlag der EU vor und erklären, warum Expertinnen, Bürgerrechtler und Unternehmen eine große Gefahr darin sehen. Selbst Ermittlerïnnen und der Deutsche Kinderschutzbund kritisieren die geplanten Maßnahmen als unverhältnismäßig.

Was die EU-Kommission plant

  • Der Gesetzentwurf soll es ermöglichen, jede Form von Online-Kommunikation zu durchleuchten. Betreiber könnten gezwungen werden, sämtliche Nachrichten auf strafbare Inhalte zu scannen. Wenn sie CSAM oder Anzeichen für sogenanntes Grooming finden (die gezielte Annäherung mutmaßlicher Täter an Minderjährige), müssen sie das geplante EU-Zentrum gegen Kindesmissbrauch in Den Haag informieren.
  • Die Zentralstelle ist der Polizeibehörde Europol untergeordnet. Dort werden die Inhalte geprüft und anschließend die zuständigen nationalen Strafverfolgungsbehörden informiert.
  • Das Gesetz betrifft fast alle Unternehmen, die digitale Kommunikation ermöglichen und entweder in der EU sitzen oder eine "signifikante Zahl an Nutzerïnnen" aufweisen: E-Mail-Anbieter, Videoplattformen, App-Stores, Online-Games und soziale Netzwerke. Auch Messenger wie Signal, Whatsapp, Telegram oder Threema müssten Nachrichteninhalte durchsuchen.
  • Die Anbieter können dafür entweder eigene Methoden entwickeln oder eine Software einsetzen, die das Den Haager Zentrum anbieten soll.
  • Halten sich die Unternehmen nicht an die Regeln, könnte die Kommission Strafen in Höhe von bis zu sechs Prozent des weltweiten Umsatzes verhängen.
  • Immerhin hat die EU-Kommission einige Hürden eingebaut, die helfen sollen, den Eingriff in die Privatsphäre abzumildern. Die Betreiber der Messenger und Plattform müssen zunächst analysieren, wie groß die Gefahr ist, dass CSAM verbreitet wird.
  • Erst nach dieser Risikobewertung sollen sie Maßnahmen ergreifen, um Minderjährige zu schützen und Täter zu ermitteln. Falls die zuständige Behörden eines Mitgliedsstaats diese Maßnahmen für unzureichend hält, kann sie die Anbieter verpflichten, sämtliche Kommunikation mithilfe von Software zu scannen.

Warum die EU-Kommission handelt

  • Bevor wir zur (harschen) Kritik kommen, möchten wir das Dilemma erklären, in dem Gesetzgeber, Strafverfolgungsbehörden, Ermittlerinnen und Kommunikationsanbieter stecken.
  • Der sexuelle Missbrauch von Kindern ist eines der fürchterlichsten Verbrechen, zu dem Menschen imstande sind. In sozialen Medien finden sich abscheuliche Hasskommentare, im Darknet werden Waffen gehandelt, Extremisten posaunen ihre Propaganda über digitale Kanäle in die Welt. Doch nirgends ist das Netz dunkler als in den Foren, Messengern und Cloud-Speichern, in denen Kinderschänder Fotos und Videos tauschen.
  • Das Ausmaß der Taten ist so gigantisch, wie sie bestialisch sind. Allein im vergangenen Jahr sollen 85 Millionen Fotos und Videos entdeckt worden sein, die missbrauchte Kinder zeigen. Während der Pandemie verschärfte sich das Problem, Europa steht im Zentrum der Missbrauchsfälle.
  • Konzerne wie Facebook, Microsoft oder Google scannen bereits auf freiwilliger Basis. Sie nutzen dafür Datenbanken mit sogenannten Hashes, eine Art digitaler Fingerabdruck. Bekannte Aufnahmen von Kindesmissbrauch werden darin gespeichert.
  • Wenn in einem Chat eine Nachricht mit Inhalten auftaucht, die einem dieser Hash-Werte entspricht, melden die Unternehmen die Fälle an Kinderschutzorganisationen, die wiederum Strafverfolgungsbehörden einschalten.
  • Dieses System hält die Kommission für unzureichend. "Wir scheitern daran, Kinder zu schützen", sagt Innenkommissarin Ylva Johansson.
  • Wer die erschütternden Recherchen der New York Times oder des Spiegels liest, kann nur zu einem Schluss kommen: Diese Verbrechen müssen härter bekämpft werden, die Täter dürfen nicht straflos davonkommen.

Warum der Gesetzentwurf gefährlich ist

  • Als Deutschland vor acht Jahren mal wieder über die Vorratsdatenspeicherung diskutierte, sagte der CDU-Politiker Patrick Sensburg (Golem) an die Opposition gerichtet: "Ihnen ist, glaube ich, nicht klar, dass es kein Grundrecht auf das Ansehen von kinderpornografischem Material im Internet gibt."
  • Die Befürworter des aktuellen Gesetzentwurfs argumentieren ähnlich: Wer dagegen ist, möchte Täter schützen oder zumindest nicht mit allen Mitteln verfolgen.
  • Das ist Unsinn: Alle können sich darauf einigen, dass es so nicht weitergehen kann. Die grauenvollen Ereignisse von Bergisch-Gladbach und Lügde offenbaren das Ausmaß des Missbrauchs und die Hilflosigkeit der Behörden.
  • Doch der Vorstoß, den Johansson "hart, beispiellos und bahnbrechend" (Golem) nennt, ist genau das: ein beispielloser Eingriff in die Grundrechte, ein bahnbrechender Schritt auf dem Weg zur anlasslosen Massenüberwachung.
  • Offenbar heiligt für die Kommission der Zweck jedes Mittel. Sollte der Entwurf zum Gesetz werden, etabliert die EU ein Überwachungssystem, wie es bislang kein demokratischer Staat gesehen hat.
  • Die Chatkontrolle ist unvereinbar mit Ende-zu-Ende-Verschlüsselung, mit der viele Messenger Nachrichteninhalte vor Kriminellen oder Geheimdiensten schützen.
  • "In dem Vorschlag geht es nicht um Verschlüsselung", sagt Johansson. "Dieses Gesetz ist technologieneutral." Tatsächlich taucht das Wort in dem 133-seitigen Entwurf nur an einer einzigen Stelle auf. Dort heißt es:

This Regulation leaves to the provider concerned the choice of the technologies to be operated to comply effectively with detection orders and should not be understood as incentivising or disincentivising the use of any given technology, provided that the technologies and accompanying measures meet the requirements of this Regulation. That includes the use of end-to-end encryption technology, which is an important tool to guarantee the security and confidentiality of the communications of users, including those of children. When executing the detection order, providers should take all available safeguard measures to ensure that the technologies employed by them cannot be used by them or their employees for purposes other than compliance with this Regulation, nor by third parties, and thus to avoid undermining the security and confidentiality of the communications of users.

  • Das klingt sinnvoll und abwägend, ist aber reines Wunschdenken. "Ein bisschen Verschlüsselung" sei wie "ein bisschen schwanger", drückt es Patrick Beuth in seinem Kommentar (Spiegel) aus.
  • Damit wiederholt sich das "Wasch mir den Pelz, aber mach mich nicht nass"-Spiel der EU-Urheberrechtsreform. Auch dort tauchte der Begriff Upload-Filter nicht auf – de facto blieb den Plattformbetreibern aber keine andere Möglichkeit, um den Vorgaben der Richtlinie gerecht zu werden.
  • Die Kommission mag beteuern, dass ihr Verschlüsselung am Herzen liege und alle Eingriffe minimal und gezielt sein müssten. Dennoch wälzt sie das Problem auf die Unternehmen ab, die bitteschön die Quadratur des Kreises lösen sollen.
  • Es gibt keine Hintertür, die ausschließlich dafür genutzt werden kann, CSAM aufzuspüren. Wer Verschlüsselung aufbricht, setzt die Privatsphäre aller Menschen aufs Spiel. Die Vergangenheit zeigt, dass jede Lücke früher oder später missbraucht wird – sei es von Behörden, Geheimdiensten oder kriminellen Hackern.
  • Selbst, wenn wir diese massiven Bedenken ausklammern, bleibt ein weiteres großes Risiko. Nachrichten sollen automatisiert mithilfe von Software durchsucht werden, die nicht nur bereits bekannte Darstellungen von Kindesmissbrauch mithilfe eines Hash-Wertes erkennt.
  • Das System soll auch neue Aufnahmen und Textnachrichten identifiziert werden, mit denen sich potenzielle Täter das Vertrauen von Kindern und Jugendlichen erschleichen. Keine Software der Welt kann das zuverlässig, sie wird zwangsläufig Fehlalarme produzieren.
  • Das fällt aber erst auf, wenn die Nachrichten bereits bei der EU-Behörde in Den Haag liegen und dort manuell geprüft werden. Anders ausgedrückt: EU-Beamtïnnen werden lesen, was Hunderttausende Menschen in ihren privaten Chats schreiben.
  • Die Chatkontrolle ist nur eines von vielen Problemen des Gesetzentwurfs. Die Kommission sieht etliche weitere Maßnahmen wie Netzsperren und Altersverifikationen vor.
  • "Neben der Inhaltskontrolle von Kommunikation umfasst das Konzept auch Maßnahmen wie die Erkennung und Blockade von Datenverkehren", sagt Dennis-Kenji Kipker, Professor für IT-Sicherheit in Bremen. "Es findet sich im Gesetzesvorschlag sogar eine Regelung, die mit einer erweiterten Vorratsdatenspeicherung verglichen werden kann, indem Inhaltsdaten für maximal zwölf Monate gespeichert werden können."
  • Er kritisiert die bewusst vage formulierten und unbestimmten Befugnisse im Gesetzestext. "Im Ergebnis kommen wir durch den weiten Anwendungsbereich des Gesetzes, die unbestimmten Regelungen und die umfassenden behördlichen Befugnisse durch den Gesetzesvorschlag einer Vollüberwachung des digitalen Bürgers deutlich näher, als es bislang jemals der Fall gewesen ist."

Wer alles Kritik äußert

  • Diese Liste fiele deutlich kürzer aus, wenn wir uns darauf beschränkten, wer die Pläne unterstützt. Neben der Kommission, Politikerïnnen der beteiligten Parteien und einigen Lobbyorganisationen (Netzpolitik) haben wir bislang wenig Menschen und Organisationen gesehen, die öffentlich Zustimmung ausdrücken.
  • Wir erheben keinen Anspruch auf Vollständigkeit, sondern sammeln nur exemplarisch Äußerungen von Personen oder Institutionen, auf deren Einschätzung wir bei anderen Themen meist vertrauen.
  • Matthew Green, Kryptografie-Experte (Twitter): "This document is the most terrifying thing I’ve ever seen. It is proposing a new mass surveillance system that will read private text messages, not to detect CSAM, but to detect 'grooming'."
  • Alexandra Koch-Skiba, Verband der Internetwirtschaft eco: "Der Entwurf hat aus unserer Sicht das Potenzial, einen Freifahrtschein für staatliche Überwachung zu schaffen. Das ist ineffektiv und illegal."
  • Stephan Dreyer, Hans-Bredow-Institut für Medienforschung (DLF): "Eine bevölkerungsweite, anlasslose Überwachung von Individualkommunikation ist aus meiner Sicht weder national noch auf EU-Ebene mit den geltenden Menschenrechtsrahmen vereinbar. Das haben die europäischen Gerichte mehrfach deutlich gemacht, dass das so nicht funktioniert."
  • Konstantin von Notz, Grüne (Grün-Digital): "Verschlüsselung wird bewusst umgangen. Der Vorschlag legt somit die Axt an das Recht auf Vertraulichkeit der privaten Kommunikation."
  • Jens Zimmermann, SPD (Twitter): "Unfassbar, was da aus Brüssel kommt. Bei jeder Nutzung eines Messengers droht in Zukunft die Überwachung der persönlichen Kommunikation. Ohne Anlass, ohne Verdacht. Das gehört eher nach Russland, als nach Europa."
  • Sabine Leutheusser-Schnarrenberger, FDP (Twitter): "Der Kommissions-Entwurf zur Bekämpfung von Kindesmissbrauch im Netz überschreitet alle Vorstellungen. (…) Das Recht auf #Verschlüsselung wird unmöglich gemacht."
  • Tibor Jager, Professor für IT-Sicherheit und Kryptografie in Wuppertal: "Wenn man Maschinen erlaubt, ausnahmslos alle gesendeten Nachrichten mitzulesen, dann leistet das einer möglichen Totalüberwachung auf jeden Fall Vorschub. Ich denke, es wäre ein großer Fehler, dies zu tun."
  • Ulrich Kelber, Bundesdatenschutzbeauftragter (Twitter): "Der Entwurf der Kommission ist nicht vereinbar mit unseren europäischen Werten und kollidiert mit geltendem Datenschutzrecht."
  • Hendrik Zörner, DJV: "Deutschlands größte Journalistenorganisation sieht darin die größte europäische Datenüberwachung aller Zeiten, die massiv in Grundrechte wie die Presse- und Meinungsfreiheit eingreifen würde."
  • Chaos Computer Club: "Die Chatkontrolle ist ein überbordender Ansatz, leicht zu umgehen und setzt an der völlig falschen Stelle an. Ohne erwartbaren Erfolg im Sinne des eigentlichen Ziels soll ein nie dagewesenes Überwachungswerkzeug eingeführt werden."
  • Felix Reda, Gesellschaft für Freiheitsrechte (Twitter): "Messenger dürfen weiter verschlüsseln, solange sie trotzdem Missbrauchsinhalte in privater Kommunikation finden. Wie soll das gehen?"
  • Will Cathcart, WhatsApp-Chef (Twitter): "Strong encryption protects the privacy and safety of billions of people, including children. Taking that away is a mistake."
  • Martin Blatter, Threema-Chef (Spiegel): "Die Kommissionspläne könnten demnach zu einer Massenkriminalisierung unbescholtener Bürger führen."
  • Joachim Türk aus dem Vorstand des Kinderschutzbunds lehnt das Vorhaben ab (BR). Es sei unverhältnismäßig, da der Großteil des Materials nicht über Messenger und E-Mail, sondern über Plattformen und Foren geteilt werde.
  • Selbst Ermittlerïnnen lehnen die Pläne ab. Der Spiegel hat mit deutschen Strafverfolgern gesprochen, die bezweifeln, dass dadurch mehr Pädokriminelle ermittelt würden.
  • Mehr Meldungen bedeuteten nicht automatisch mehr Festnahmen, sagt ein anonymer Ermittler: "Wir haben heute schon ein Heuhaufen-Problem. Die Masse der neuen Meldungen nach den EU-Plänen droht unsere Strafverfolgung eher lahmzulegen."

Wie es weitergeht

  • In der EU benötigen Gesetze die Zustimmungen der drei Institutionen: Kommission, Rat und Parlament. Der Entwurf der Kommission ist also erst mal nur ein Vorschlag, der in dieser Form vermutlich nicht verabschiedet wird.
  • Häufig werden Maximalforderungen vorgelegt, die im weiteren Prozess abgeschwächt werden. Das Parlament gilt in Fragen der Freiheits- und Bürgerrechte als liberaler als die Kommission.
  • Die Proteste gegen die EU-Urheberrechtsreform haben gezeigt, dass es möglich ist, gerade jüngere Menschen für vergleichsweise abstrakte digitale Themen zu interessieren – und dass ziviler Protest durchaus gehört wird.

Be smart

Es ist sinnvoll und geboten, das Vorgehen gegen Kindesmissbrauch EU-weit zu vereinheitlichen und einen verbindlichen Rechtsrahmen zu schaffen. Bei einem so entsetzlichen Verbrechen, dessen Ausmaß Jahr für Jahr zunimmt, reicht es nicht zu sagen: So machen wir es aber bitte nicht.

Nur halten wir es für falsch, in diesem wichtigen Kampf die Privatsphäre aller Menschen aufs Spiel zu setzen. Ende-zu-Ende-Verschlüsselung ist nicht das größte Problem, das Fahndungserfolgen im Weg steht. Die meisten Täter tauschen sich im Darknet aus und teilen CSAM über Filehoster im frei zugänglichen Teil des Internets.

Unverständlicherweise scheitert der Staat daran, diese Dateien aus dem Netz zu löschen, obwohl es technisch recht einfach möglich wäre. Ein Reporterteam von Spiegel und NDR recherchierte monatelang und konfrontierte die Filehoster selbst (Spiegel). Am Ende löschten die Betreiber mehr als 13 Terabyte CSAM – was eigentlich Aufgabe des BKA und anderer Behörden gewesen wäre. Wer effektiv Kinder schützen und Täter verfolgen möchte, könnte dort ansetzen und Strafverfolgungsbehörden besser ausstatten.

Social Media & Politik

  • Boris Johnson ist jetzt bei TikTok: Der Premierminister des Vereinigten Königreichs ist bei TikTok unter @10downingstreet zu finden. Tanzvideos soll es keine geben. (Obwohl er mit Parties ja viel Erfahrungen hat.) Sehr wohl möchte die britische Regierung TikTok aber nutzen, um Politik zugänglicher zu machen. Damit befindet sich Johnson in guter Gesellschaft. Das GoogleDoc: Digital Diplomacy on TikTok bietet einen guten Überblick über Institutionen und Politiker aus aller Welt, die bereits auf TikTok sind. Wer die Glide-App bevorzugt, findet die Liste hier entsprechend aufbereitet: Glide-Liste: TikTokDiplomacy. Auch zahlreiche deutsche Polikterïnnen, Parteien und Ministerien sind bereits bei TikTok – Martin Fuchs sammelt sie in diesem Google Doc. Und wo wir gerade beim Thema sind: Hier findest du einen Überblick über Medien-Angebote auf TikTok: Google Doc.

Datenschutz-Department

  • Privatsphäre-Game bei Twitter: Inmitten des Übernahme-Hustles durch Elon Musk veröffentlicht Twitter ein Web-Game, das den Nutzerïnnen die generalüberholten Privatsphäre-Einstellungen näher bringen soll. Ähm, interessanter Ansatz. Schließlich liest in der Regel niemand die Terms of Services. Aber erst einmal schauen, wie lange die Regeln dann überhaupt noch Bestand haben. Schließlich sieht es ganz danach aus, als würde Elon Musk kein Stein auf dem anderen lassen…

Follow the money

  • Hochrangige Twitter-Mitarbeiter müssen gehen: Noch ist die Übernahme durch Elon Musk nicht in trockenen Tüchern (und es ist weiterhin fraglich, ob sie überhaupt zustande kommt), schon müssen die ersten Top-Manager ihren Hut nehmen. Kayvon Beykpour, Twitters General Manager of Consumer Products, und Bruce Falck, General Manager of Revenue, verlassen das Unternehmen, berichtet die New York Times. Im Falle von Beykpour (dem Co-Gründer von Periscope) geschah dies nicht freiwillig: In einem Tweet erklärt Beykpour, dass Twitters aktueller CEO Parag Agrawal ihn gebeten habe, zu gehen. Beykpour befindet sich aktuell übrigens in Elternzeit. Wahrscheinlich zu viel für Elon.
  • 240 Milliarden Dollar: So viel Geld möchte ByteDance mit TikToks chinesischer Schwester-App Douyin in Sachen E-Commerce dieses Jahr umsetzen. (The Information) – insbesondere durch Livestreaming-Angebote. Bis ByteDance außerhalb von China mit Shopping so viel Geld umsetzt, könnte noch einige Zeit vergehen. Zwar gibt es bereits die ersten Shopping-Optionen bei TikTok in UK und Indonesien, allerdings können sie noch lange nicht die gleiche Wucht entfalten. Social Shopping ist dann halt doch noch Neuland außerhalb von China.

Aus der Praxis

  • TikTok Insights: TikTok hat ein neues Tool im Angebot, um Marketing- und Social-Experten die neuesten (hauseigenen) Erkenntnisse im Bezug auf die Kurz-Video-App näherzubringen. Was trendet in welcher Zielgruppe? Welche Themen sind in welchen Ländern besonders relevant? Der Mehrwert der Infos für den deutschen Markt hält sich noch in Grenzen, grundsätzlich lohnt aber der Blick auf die Website.
  • TikTok Hashtag Analysis: Das Rechercheportal Bellingcat hat ein Werkzeug entwickelt, mit dem sich Hashtags bei TikTok analysieren lassen. Was eigentlich dafür gedacht ist, Desinformationskampagnen aufzudecken, könnte auch im Alltag ganz nützlich sein. Allerdings braucht es ein paar Github-Skills, um das Tool zu nutzen.

Lesetipps fürs Wochenende

  • How Twitter lost the celebs (Washington Post)
  • Here’s Mark Zuckerberg demonstrating Meta’s high-end Project Cambria VR headset (The Verge)
  • The YouTubers are not okay: Prominent YouTubers keep quitting the platform and then coming back. Call it the result of YouTube brain. (Vox)
  • Facebook Promised to Remove “Sensitive” Ads. Here’s What It Left Behind (The Markup)
  • We the users want technology to work for us. Here are our demands. (Washington Post)
  • Why Gen Z pay for news (whatsnewinpublishing)
  • This New Social App Is Boring, in a Good Way (New York Times)

Schon einmal im Briefing davon gehört

Neue Features bei den Plattformen

Google

  • Neue Such-Funktionen: Google hat bei der Entwicklerkonferenz allerhand (hilfreiche 🙂 ) neue Features präsentiert. Die meisten Dinge haben für uns hier im Briefing nicht die ganz große Relevanz. Eine Sache möchten wir jedoch hervorheben: Google aktualisiert die Art und Weise, wie Nutzerïnnen nach Informationen suchen. Die neue "Multisearch"-Funktion des Tech-Giganten ermöglicht es, sowohl Text als auch Bilder in der Suche zu verwenden (Techcrunch). Künftig soll es zudem möglich sein, mittels einer AR-Brille einfach das zu googeln, was man gerade betrachtet. Wir freuen uns schon jetzt auf die neuen Terms of Service.

YouTube

  • Mitgliedschaften verschenken: YouTube testet aktuell eine Option, mit der sich Kanal-Mitgliedschaften verschenken lassen (The Verge). Klingt nach einer sinnvollen Sache! Wenn du deinem Team übrigens auch eine Mitgliedschaft bei uns schenken möchtest, kannst du das gern über unser neues Team-Abo tun – hier entlang 🙂
  • Green-Screen: Auch bei YouTube Shorts gibt es jetzt ein Green-Screen-Feature (Techcrunch).
  • ‘Clips’ Video Highlights Option: Bereits seit einiger Zeit testet YouTube mit einigen ausgewählten Nutzerïnnen ein Feature, mit dem sich aus einem Livestream Clips exportieren lassen (Creator Insider), um sie an anderer Stelle zu teilen. Dieser Test wird nun ausgeweitet.

WhatsApp

Twitter

Jane Manchun Wongs Job ist es, nach neuen, noch nicht ausgerollten Features bei den Plattformen zu suchen und sie auf Twitter mit ihren +100k Followern zu teilen. Auch wir sind große Fans ihrer Arbeit und möchten gern drei aktuelle Entdeckungen teilen:

  • Twitter testet die Option, zu einem Tweet einen Space zu starten. Als wäre der Quote-Retweet noch nicht genug.
  • Twitter Articles sollen anscheinend wirklich kommen. Und so könnten sie aussehen.
  • Auf Twitter wird ja bekanntlich ein Großteil der Tweets von einigen wenigen Accounts geschrieben. Um künftig direkt zu sehen, wie oft jemand twittert, könnte ein entsprechender Hinweis zur Twitter-Aktivität im Profil eingeblendet werden.

Header-Foto von Andre Benz