Kampf gegen Kindesmissbrauch: Der Zweck heiligt nicht alle Mittel

Was ist

Kashmir Hill berichtet über zwei Väter (NYT), die sich zu Unrecht einem grauenhaften Verdacht ausgesetzt sahen: Sie hätten illegale Nacktaufnahmen ihrer eigenen Kinder verbreitet. Wir erklären, wie es dazu kam, was das mit verschlüsselten Messengern zu tun hat und warum die EU-Kommission ihre Überwachungspläne beerdigen sollte.

Wie die beiden Männer unter Verdacht gerieten

  • Mark und Cassio sind zwei Väter aus San Francisco und Texas. Ihre kleinen Kinder haben Schmerzen, also konsultieren sie Ärzte.
  • Es ist Februar 2021, die Pandemie bestimmt das Leben in den USA. Die Sprechstunden finden per Video statt. Sie sollen Fotos der betroffenen Stellen schicken, um den Kinderärzten die Ferndiagnose zu erleichtern.
  • Hier beginnt das Problem: Beide Kleinkinder haben geschwollene oder entzündete Genitalien. Auf den Fotos sind also nackte Kinder zu sehen, teils auch die Hände der Väter.
  • Die Android-Smartphones laden die Aufnahmen automatisch bei Google Photos hoch. Dort schlägt eine Software Alarm, die darin mutmaßliches Child Sexual Abuse Material (CSAM) erkennt.
  • Nach einer manuellen Prüfung durch Google-Mitarbeiterïnnen wird die CyberTipline des National Center for Missing and Exploited Children (NCMEC) informiert. Dort melden alle großen Tech-Plattformen Verdachtsfälle auf Kindesmissbrauch.
  • NCMEC wiederum kann Strafverfolgungsbehörden einschalten. Genau das geschieht bei Mark und Cassio.
  • Beide werden zu Verdächtigen, die Polizei beginnt zu ermitteln. In Marks Fall fordert sie von Google Zugriff auf den gesamten Account, inklusive aller Mails und Fotos sowie des Standortverlaufs.
  • Erst viele Monate später erfahren die Männer davon. Nachdem die Ermittlerïnnen den Chatverlauf mit den Ärzten sehen, werden die Vorwürfe fallengelassen. Mark und Cassio gelten offiziell als unschuldig.

Welche Folgen der falsche Verdacht hatte

  • Strafrechtlich haben Mark und Cassio nichts zu befürchten. Trotzdem spüren sie die Konsequenzen bis heute.
  • Beide können nicht mehr auf ihre Google-Konten zugreifen, die mehr als ein Jahrzehnt lang Dreh- und Angelpunkt ihrer digitalen Existenz waren. Mails, Fotos, Dokumente, Rechnungen, Kontakte – alles weg.
  • Mark verliert zudem seine Handynummer, weil sein Mobilfunkvertrag ebenfalls über Google lief. Dadurch kann er keine Codes zur Zwei-Faktor-Authentisierung mehr anfordern, was ihn aus weiteren Konten aussperrt.
  • Wenn Google NCMEC über mutmaßliche Aufnahmen von Kindesmissbrauch informiert, werden die betroffenen Accounts gesperrt. So weit, so verständlich, zumal es sich ja tatsächlich um explizite und potenziell verdächtige Fotos handelte.
  • Weniger nachvollziehbar ist, warum sich Google in beiden Fällen bis heute weigert, die Sperrung aufzuheben. In Marks Fall verweist Google auf ein weiteres Video, das seine Frau und seinen Sohn zusammen im Bett zeigt, beide unbekleidet.
  • "We woke up one morning. It was a beautiful day with my wife and son and I wanted to record the moment", sagt Mark. "If only we slept with pajamas on, this all could have been avoided."
  • Mittlerweile ist sein Account für immer gelöscht, alle Daten verloren. Google sagt, man stehe zu dieser Entscheidung, obwohl die Ermittlungen eingestellt wurden.
  • Für Mark gibt es noch eine letzte Hoffnung: Die Polizei von San Francisco hatte von Google alle gespeicherten Inhalte erhalten und auf einem USB-Stick gespeichert. Er versucht jetzt, diese hinter seinem Rücken angefertigte Kopie seines Accounts zu bekommen.

Welche Rolle maschinelles Lernen spielt

  • Mark und Cassio sind zwei von mehr als 270.000 Google-Nutzerïnnen (Google Transparency), deren Konten im vergangenen Jahr gesperrt wurden, weil sie CSAM erstellt oder verbreitet haben sollen. Insgesamt alarmierte Google NCMEC in mehr als 600.000 Fällen.
  • Im Vergleich zu Meta ist das wenig. Fast 27 Millionen Berichte übermittelten Facebook, Instagram und WhatsApp an die Kinderschutzorganisation – kein anderes Unternehmen kommt auf mehr als eine Million (PDF).
  • Grob gesagt gibt es zwei Möglichkeiten, CSAM aufzuspüren. Man kann Hashes von Fotos und Videos erstellen und diese digitalen Fingerabdrücke mit denen von bereits eindeutig als CSAM eingestuften Aufnahmen abgleichen.
  • Die meisten Plattformen nutzen dabei die von Microsoft entwickelte Technik PhotoDNA und speisen die Hashes in eine gemeinsame Datenbank ein. Dieses Vorgehen ist wenig anfällig für Fehler, da es auf bekanntem Material beruht.
  • Allerdings können Täter das System überlisten, indem sie Fotos bearbeiten. Neue Aufnahmen werden gar nicht erkannt, es existiert ja noch kein entsprechender Hash.
  • Deshalb entwickelte Google 2018 ein weiteres Verfahren (Google-Blog), das auf neuronalen Netzwerken und Deep Learning basiert. Dieses System kann Fotos und Videos selbstständig klassifizieren. Google stellt die Technik auch anderen Plattformen wie Facebook zur Verfügung.
  • Google, Meta und Microsoft scannen sämtliche Daten, die in der Cloud gespeichert werden. Jedes Bild, das automatisch über Google Photos oder OneDrive synchronisiert wird, jede Nachricht, die man über den Facebook Messenger verschickt.
  • Im vergangenen Jahr wollte auch Apple damit beginnen, Daten in der iCloud mit bekannten Hashes abzugleichen. Allerdings mit einem wichtigen Unterschied: Die Überprüfung sollte im Moment des Uploads lokal auf dem Gerät ablaufen.
  • Der Vorstoß löste allerdings heftige Proteste von Datenschützerinnen und Bürgerrechtlern aus. Kurze Zeit später legte Apple die Pläne für unbestimmte Zeit auf Eis. Ob, wie und wann sie reaktiviert werden, ist unklar (Heise). Ausführliche Hintergründe findest du in Briefing #739.

Was das mit Verschlüsselung zu tun hat

  • Ende-zu-Ende-Verschlüsselung (E2EE) schützt die Privatsphäre von Milliarden Menschen, die über Signal, Threema, iMessage oder WhatsApp chatten. Die Nachrichteninhalte sind nur für Absenderin und Empfänger sichtbar. Betreiber, Kriminelle, Geheimdienste und Behörden können nicht mitlesen.
  • Das weckt Befürchtungen. Terroristen und Pädophile könnten den Deckmantel der E2EE nutzen, um unbemerkt schwere Straftaten zu planen oder zu begehen.
  • Datenschutz vs. Täterschutz: Entlang dieser Konfliktlinie entzündet sich seit Jahrzehnten ein Glaubenskrieg, der von beiden Seiten mit harten Bandagen geführt wird.
  • Besonders emotional ist die Auseinandersetzung, wenn es um mutmaßlichen Kindesmissbrauch geht. Wenige Verbrechen sind so abscheulich, und das Ausmaß der Taten ist so gigantisch, wie sie bestialisch sind.
  • Allein im vergangenen Jahr sollen 85 Millionen Fotos und Videos entdeckt worden sein, die missbrauchte Kinder zeigen. Dass Ermittler und Kinderschutzorganisationen alles Menschenmögliche unternehmen wollen, um Täter aufzuspüren, ist verständlich.
  • Wer die erschütternden Recherchen der New York Times oder des Spiegels liest, kann nur zu einem Schluss kommen: Diese Verbrechen müssen härter bekämpft werden, Kinderschänder dürfen nicht straflos davonkommen.

Wie die EU Verschlüsselung aushebeln will

  • Im Mai stellte EU-Innenkommissarin Ylva Johansson einen Gesetzentwurf vor, der Kindesmissbrauch und die Verbreitung von CSAM eindämmen soll. In Briefing #796 erklärten wir ausführlich, welche (gewaltigen) Risiken und Nebenwirkungen die Chatkontrolle hätte.
  • Alle Unternehmen, die digitale Kommunikation ermöglichen, könnten verpflichtet werden, die Inhalte zu durchleuchten. Das beträfe auch verschlüsselte Messenger.
  • Der EU-Kommission schwebt ein sogenanntes Client-Side-Scanning vor, wie es Apple plante. Die Betreiber sollen Nachrichteninhalte lokal auf dem Gerät prüfen, bevor sie verschlüsselt und verschickt werden.
  • Das Problem: Die Chatkontrolle hebelt den Schutz der Ende-zu-Ende-Verschlüsselung aus. Wer eine solche Hintertür schafft, setzt die Privatsphäre aller Nutzerïnnen aufs Spiel. Die Vergangenheit zeigt, dass jede Lücke früher oder später missbraucht wird – sei es von Behörden, Geheimdiensten oder kriminellen Hackern.
  • Hinzu kommt ein weiteres Problem, das den Bogen zu den beiden aktuellen Fällen in den USA spannt. Das EU-System soll mutmaßliches CSAM selbstständig erkennen und melden, woraufhin eine Behörde in Den Haag die Fälle überprüfen soll. Die Software ist vergleichbar mit der, die Google bereits einsetzt.
  • Selbst die EU-Kommission gibt zu, dass solche Verfahren reihenweise Fehlalarme produzieren werden (Netzpolitik). Anders ausgedrückt: EU-Beamtïnnen werden lesen, was Hunderttausende Menschen in ihren privaten Chats schreiben.
  • Wer nichts zu verbergen hat, hat nichts zu befürchten, heißt es oft. Das ist Unsinn: Es kann Eltern treffen, die ihre Kinder fotografieren, oder Teenager, die – einvernehmlich und legal – Nacktfotos austauschen.
  • Gegen die Pläne rebellieren nicht nur Bürgerrechtler und Datenschützerinnen. Auch die deutsche Bundesregierung um Innenministerin Nancy Faeser und Digitalminister Volker Wissing kritisiert das Vorhaben als unverhältnismäßig.

Be smart

Aus den Erfahrungen von Mark und Cassio lassen sich drei Rückschlüsse ziehen:

  1. Es ist gefährlich, alle wichtigen Daten bei einem Anbieter zu speichern. "The more eggs you have in one basket, the more likely the basket is to break", sagt Mark. Er verlor fast sein gesamtes digitales Leben, weil er nur auf Google setzte. Am besten ist es, sich erst gar nicht von einem einzelnen Unternehmen abhängig zu machen, sondern E-Mails, Dokumente und Fotos auf unterschiedliche Dienste zu verteilen. Auf jeden Fall sollte man regelmäßig Sicherungskopien der Daten herunterladen und lokal speichern.
  2. Wer nackte oder halbbekleidete Kinder fotografiert, muss vorsichtig sein. Wenn Zweijährige vergnügt im Swimmingpool planschen, mag das Erinnerungsvideo für die Eltern harmlos sein – für eine Software ist es möglicherweise verdächtig. Genauso riskant ist es, auf Anraten einer Kinderärztin den Verlauf einer Entzündung in der Leistengegend mit Fotos zu dokumentieren. "The last thing you want is for a child to get comfortable with someone photographing their genitalia", zitiert die New York Times die Vorsitzende eines Ausschusses der Vereinigung der US-Kinderärztïnnen. "If you absolutely have to, avoid uploading to the cloud and delete them immediately."
  3. Die Chatkontrolle ist eine Schnapsidee. Selbst Ermittlerinnen und Experten sind skeptisch. Denn das Problem sind nicht zu wenige Daten, sondern zu wenige Ressourcen. Die meisten Pädophilen tauschen sich im Darknet aus und teilen CSAM über Filehoster im frei zugänglichen Teil des Internets. Um diese Taten aufzuklären, bräuchte es mehr geschulte Ermitlerïnnen und technische Kompetenz seitens der Behörden. In Briefing #796 schrieben wir:

Unverständlicherweise scheitert der Staat daran, diese Dateien aus dem Netz zu löschen, obwohl es technisch recht einfach möglich wäre. Ein Reporterteam von Spiegel und NDR recherchierte monatelang und konfrontierte die Filehoster selbst (Spiegel). Am Ende löschten die Betreiber mehr als 13 Terabyte CSAM – was eigentlich Aufgabe des BKA und anderer Behörden gewesen wäre. Wer effektiv Kinder schützen und Täter verfolgen möchte, könnte dort ansetzen und Strafverfolgungsbehörden besser ausstatten.

TikTok, Insta, Facebook: Finger weg von In-App-Browsern!

  • Der österreichische Entwickler und frühere Google-Mitarbeiter Felix Krause hat die In-App-Browser der iOS-Apps großer Plattformen untersucht. Sein erster Bericht fokussiert sich auf Metas Apps, also Facebook, Insta und den Facebook Messenger.
  • Kurz darauf stellte er ein Tool (InAppBrowser) vor, mit dem man selbst untersuchen kann, welche Eingaben iOS- oder Android-Apps tracken. Dabei enthüllte er besorgniserregende Details über TikTok.
  • Die Kurzfassung geht so: Die Apps öffnen Links standardmäßig in einem In-App-Browser, der ihnen mehr Kontrolle gibt. Unter anderem können die Betreiber JavaScript-Code mitladen, wenn Webseiten aufgerufen werden. Das ermöglicht sehr weitgehendes Tracking:

Running custom scripts on third party websites allows them to monitor all user interactions, like every button & link tapped, text selections, screenshots, as well as any form inputs, like passwords, addresses and credit card numbers.

  • Wichtig: Dass es in der Theorie möglich ist, heißt nicht, dass es geschieht. Meta sagt, dass der injizierte Code nicht dazu diene, Eingaben der Nutzerïnnen zu überwachen. Krause schreibt selbst:

Does Facebook actually steal my passwords, address and credit card numbers? No! I didn’t prove the exact data Instagram is tracking, but wanted to showcase the kind of data they could get without you knowing.

  • TikTok geht noch einen Schritt weiter:

TikTok iOS subscribes to every keystroke (text inputs) happening on third party websites rendered inside the TikTok app. This can include passwords, credit card information and other sensitive user data. (keypress and keydown). We can’t know what TikTok uses the subscription for, but from a technical perspective, this is the equivalent of installing a keylogger on third party websites.

  • "This was an active choice the company made", sagt Krause (Forbes). "This is a non-trivial engineering task. This does not happen by mistake or randomly."
  • TikTok selbst beteuert, dass die Eingaben der Nutzerïnnen nicht getrackt würden. Der Code, den man lade, sei Teil eines Software Development Kit eines Drittentwicklers, das auch Funktionen enthalte, die man nicht nutze. TikTok selbst benötige den Code nur, um Bugs zu finden und die App-Performance zu überwachen.
  • Warum TikTok überhaupt fremde SDKs einbaut und von wem die fragliche Software stammt, ist unklar.
  • Zu TikToks Verteidigung muss man aber auch sagen: Es gibt keine Beweise, dass der Code wie ein Keylogger verwendet wird.
  • Mit Blick auf die Berichte der vergangenen Wochen und Monate (siehe Briefing #804) hinterlässt Krauses Untersuchung trotzdem kein gutes Gefühl. TikTok hat oft genug unter Beweis gestellt, dass es mitunter eine alarmierende Diskrepanz zwischen Worten und Taten gibt.
  • Zumindest eine Schlussfolgerung kann man ohne jeden Zweifel ziehen: Man sollte Links besser in Safari, Chrome oder einem anderen Browser öffnen als innerhalb der Apps.
  • Bei Insta und Facebook lässt sich das Verhalten in den Einstellungen ändern. TikTok bietet diese Option nicht an. Vielleicht sollte TikTok als vertrauensbildende Maßnahme darüber nachdenken.

Follow the money

  • TikTok Shopping Ads: TikTok testet derzeit drei neue Werbeformate (TikTok Business). Mit den neuen Formaten – Video Shopping Ads, Catalog Listing Ads und LIVE Shopping Ads – können Werbetreibende ein oder mehrere Produkte in ihren In-Feed-Videoanzeigen hervorheben, um so direkt auf der Plattform Produkte zu verkaufen.
  • Shopify startet Collabs – eine Art Marktplatz, der Creator und Shopify-Händler zusammenbringen soll (Shopify Newsroom). Über ein Verzeichnis können Creator Unternehmen entdecken und schauen, ob eine Koop in Frage kommt, etwa um Shops zu erstellen und Produkte zu teilen, die die eigenen Interessen widerspiegeln. Wenn sich das durchsetzt, gibt es vielleicht etwas weniger Cringe-Anzeigen…

Video / Audio

  • YouTube launcht Podcast-Verzeichnis: Es hatte sich bereits vor einigen Monaten angedeutet, jetzt ist die neue Podcast-Seite auf YouTube offiziell live – youtube.com/podcasts kann zwar vorerst nur von US-Nutzerïnnen angesteuert werden, ein weltweites Rollout dürfte aber nicht lange auf sich warten lassen.
  • Twitter plant Podcast-Verzeichnis: Auch Twitter möchte beim Thema Podcast mitmischen. App-Researcher Alessandro Paluzzi hat im Backend der Plattform eine Hinweis-Tafel entdeckt, die User auf die Option aufmerksam macht, Podcasts via Twitter zu hören. Wann die Funktionen kommen, ist nicht klar. Aber es sieht ganz danach aus, dass Twitter das Thema Audio (trotz mauer Resonanz?!) weiter ausbauen möchte.
  • YouTube Shorts kommen ins Fernsehen: Künftig sollen YouTube Shorts auch über die YouTube App auf Smart TVs zu bestaunen sein (Protocol). Die TikTok-Experience ist auf dem Fernseher ja bislang eher so mittelprächtig. Mal schauen, wie sich YouTubes TT-Klon auf der Glotze anfühlt.

Neue Features bei den Plattformen

Instagram

  • Neues BeReal-Feature: Mit IG Candid (@alex193a) testet Instagram derzeit ein Feature, das die Hype-App BeReal 1:1 imitiert. Damit wird sich zeigen, ob BeReal mehr ist als nur ein Feature. Clubhouse lässt grüßen?
  • Full-Screen-Feed als Opt-in? Wer Instagram gern Bildschirm-füllend nutzen möchte, kann sich diesen Lebenstraum womöglich bald über ein entsprechendes Opt-in erfüllen (@oncescuradu). Aber wer sollte das wollen? Und was wäre das für ein Leben?

WhatsApp

Snapchat

Header-Foto von Reynier Carl