Empfehlungen aus der Wissenschaft: Content-Moderation, Gegenrede und politische Online-Werbung

Was ist

In den vergangenen Tagen haben Wissenschaftlerïnnen drei neue Berichte veröffentlicht, die engen Bezug zu den Themen haben, über die wir in diesem Newsletter schreiben. Sie stellen folgende Thesen auf:

  1. Facebook sollte 30.000 Content-Moderatorïnnen fest anstellen, statt 15.000 Hilfskräfte über Partnerunternehmen zu beschäftigen.
  2. Gegenrede kann helfen, die Diskussionskultur in sozialen Medien zu zivilisieren.
  3. Die laxen Regeln für Online-Werbung gefährden die politische Meinungsbildung und können zur Polarisierung beitragen.

Wir stellen die Kernaussagen der drei Paper vor und ordnen sie kurz ein.

1. Warum Facebook mehr Content-Moderatorïnnen braucht

Was? „Who Moderates the Social Media Giants? A Call to End Outsourcing”

Von wem? Paul M. Barrett, NYU Stern Center for Business and Human Rights

Wo? Pressemitteilung, PDF (32 Seiten)

Was steht drin? Das Paper beleuchtet, unter welchen Bedingungen Facebook-Mitarbeiterïnnen derzeit entscheiden, welche Inhalte gelöscht werden und welche nicht. Es beschreibt die komplexen Regelwerke und nennt Zahlen und Fakten. Allein im ersten Quartal 2020 wurden:

  • mehr als 100 Millionen Inhalte gelöscht oder eingeschränkt.
  • knapp zwei Milliarden Spam-Nachrichten und 1,7 Milliarden Fake-Accounts entfernt.
  • insgesamt rund neun von zehn Entscheidungen automatisiert getroffen, wobei dieser Anteil stark davon abhängt, um welche Kategorie von Inhalte es geht: mehr als 99 Prozent bei Darstellungen von Kindesmissbrauch und Gewalt, aber nur 89 Prozent bei hasserfüllten Kommentaren und 16 Prozent bei Belästigung und Mobbing.

Barrett geht ausführlich auf die belastenden und teils traumatisierenden Arbeitsbedinungen der Content-Moderatorïnnen ein, über die wir etwa in Ausgabe #638 berichtet haben. Er betrachtet insbesondere die besonders prekäre Situation in Entwicklungs- und Schwellenländern, die wir Westler oft nur am Rande mitbekommen.

Daraus leitet er insgesamt acht Forderungen und Empfehlungen ab. Facebook sollte:

  1. die Aufgabe nicht länger an Partnerunternehmen outsourcen und die Content-Moderatorïnnen langfristig mit anderen Angestellten wie Entwicklerïnnen gleichstellen.
  2. die Zahl der Moderatorïnnen auf 30.000 verdoppeln, um einzelnen Mitarbeiterïnnen mehr Zeit für die Entscheidungen und längere Pausen zu ermöglichen, was die psychischen Schäden der Arbeit reduzieren könnte.
  3. eine Art Head of Content-Moderation and Factchecking bestimmen, der direkt an Mark Zuckerberg oder Sheryl Sandberg berichtet und am besten journalistische Erfahrung mitbringt.
  4. sich beim Ausbau der Kapazitäten vor allem auf Länder in Asien, Afrika und Südamerika fokussieren, wo Facebooks Plattform in der Vergangenheit besonders häufig als Propagandaschleuder missbraucht wurde, was teils üble gesellschaftlichen Auswirkungen hatte (mehr dazu in Briefing #638).
  5. die psychologische Betreuung ausbauen und allen Moderatorïnnen kostenlose medizinische Diagnosen und Behandlungen ermöglich.
  6. Forschung finanzieren, die gesundheitliche Risiken und Spätfolgen von Content-Moderation untersucht und etwa die Prävalenz für posttraumatische Belastungsstörungen beleuchtet.
  7. Regierungen mit einbeziehen, um zielgenaue Regulierung auf Grundlage geeigneter und spezifischer Zielmetriken zu erarbeiten.
  8. die Faktenchecks durch professionelle Journalistïnnen massiv ausweiten, um Mis- und Desinformation richtigzustellen und die Verbreitung zu reduzieren

Unsere Einschätzung: Nicht alle Forderungen sind neu oder überraschend, aber das Paper vermittelt einen guten Eindruck, warum Content-Moderation so eine gewaltige Herausforderung ist, deren Bedeutung eher noch zunehmen wird – nicht nur für Facebook, sondern für alle großen Plattformen.

Die Handlungsempfehlungen erscheinen uns sinnvoll. Die Chance, dass Facebook sie umsetzt, dürfte allerdings gering sein. Zuckerberg setzt darauf, dass in Zukunft mehr und mehr Entscheidungen von Software getroffen werden können. Das skaliert natürlich besser als Zehntausende Mitarbeiterïnnen: Einmal trainiert, können Maschinen in Sekundenbruchteilen Inhalte prüfen, brauchen keine Pausen und keine psychologische Betreuung.

Das entscheidende Problem: Sie machen Fehler. Viele Fehler. Noch immer ist sogenannte künstliche Intelligenz oft verhältnismäßig dumm und wird auch in absehbarer Zeit nicht in der Lage sein, Satire zu erkennen oder Entscheidungen im Graubereich zwischen ruppigen Kommentaren und strafbaren Beleidigungen zu treffen.

Ausführlicher haben wir uns damit in Briefing #625 beschäftigt, noch mehr habe ich Ende März für die SZ dazu geschrieben.

Know more:

The activity of content moderation just doesn’t fit into Silicon Valley’s self-image. Certain types of activities are very highly valued and glamorized—product innovation, clever marketing, engineering … the nitty-gritty world of content moderation doesn’t fit into that

  • Eine Gruppe von Content-Moderatorïnnen hat ein Statement veröffentlicht (Medium), in dem sie den Widerstand vieler Facebook-Angestellter gegen Zuckerberg unterstützen, der die Beiträge von Donald Trump nicht löschen oder mit Warnhinweisen versehen will. Dieser solidarische Protest war offenbar schwer zu organisieren, wie ein anonymer Moderator dem Guardian erzählt:

We are not able to speak freely because we communicate mainly on the company channels. It’s really tricky to even talk about it, to find someone and ask if they want to sign this sort of statement.

2. Warum Gegenrede sinnvoll ist

Was? „Countering hate on social media: Large scale classification of hate and counter speech”

Von wem? Joshua Garland, Keyan Ghazi-Zahedi, Jean-Gabriel Young, Laurent Hébert-Dufresne, Mirta Galesic

Wo? ArXiv, PDF (13 Seiten)

Was steht drin?

  • Die Wissenschaftlerïnnen untersuchen, ob Counter-Speech ein wirksames Mittel ist, um Hate-Speech zu begegnen und einzudämmen.
  • Bislang gibt es wenig Forschung zu diesem Thema, weil es an geeigneten Daten fehlt, um die Algorithmen so zu trainieren, dass sie automatisiert Tweets oder Beiträge klassifizieren und auswerten können.
  • Hasserfüllte Kommentare können Maschinen noch halbwegs zuverlässig erkennen, weil sich bestimmte Ausdrucksweisen wiederholen – die Gegenrede ist für Software dagegen nur schwer zu identifizieren.
  • Das Paper stützt sich vor allem auf Tweets, die Mitglieder der Gruppe Reconquista Internet verfasst haben, um der rechten Troll-Armee Reconquista Germanica entgegenzutreten.
  • Mit Hilfe dieser Datensätze konnten die Forscherïnnen Algorithmen trainieren, mit deren Hilfe sie dann mehr als neun Millionen Tweets aus den Jahren 2013 bis 2018 auswerteten.
  • In Tausenden Fällen ließen sie die automatische Einstufung von Menschen gegenchecken, um die Qualität der Algorithmen zu verbessern.
  • Das Vorgehen kann keine Kausalität nachweisen, wohl aber eine signifikante Korrelation: Mit dem Auftreten von Gegenrede ist der Hass meist zurückgegangen.

Unsere Einschätzung: Die Methodik der Studie macht einen guten Eindruck. Trotzdem kann man nicht mit Sicherheit daraus ableiten, dass Reconquista Internet den Online-Diskurs zivilisiert hat. Viele andere Faktoren bleiben unberücksichtigt: Die Trolle könnten etwa Angst vor Strafverfolgung bekommen oder schlicht die Lust verloren haben, weil sich Medien anderen Themen zuwendeten.

Dennoch ist das Paper eine gute Grundlage für weitere Untersuchungen zu diesem gesellschaftlich wichtigen Thema. Unabhängig davon sind aus Reconquista Internet mehrere sinnvolle Gruppen, Netzwerke und Projekte hervorgegangen, die bis heute aktiv sind – etwa die Seite „Hass melden”, auf dem Nutzerïnnen Inhalte melden können, die sie für strafrechtlich relevant halten. Die Initiative hat sich also auf jeden Fall gelohnt.

Know more: Daniel Laufer hat das Paper ausführlich vorgestellt (Netzpolitik) und dafür auch mit Jan Böhmermann gesprochen, der 2017 Reconquista Internet ins Leben gerufen hatte. Böhmermann sagt:

Die Studie belegt erstmals empirisch, was wir mit Reconquista Internet praktisch erfahren haben: Wer organisierten Hass, rassistische Hetze oder die cleveren Diskursverschiebungskampagnen rechtsextremistischer Netzwerke im Internet erfolgreich bekämpfen will, muss wissen, wie diese verdeckten Manipulationsnetzwerke arbeiten, sie analysieren und gegen sie aktiv werden.

3. Warum politische Online-Werbung stärker reguliert werden muss

Was? „Regeln für faire digitale Wahlkämpfe: Welche Risiken mit politischer Onlinewerbung verbunden sind und welche Reformen in Deutschland nötig sind”

Von wem? Julian Jaursch, Stiftung Neue Verantwortung (SNV)

Wo? Pressemitteilung, PDF (107 Seiten)

Was steht drin? Das Papier beschreibt zunächst die Entwicklungen der vergangenen Jahre und den Status Quo:

  • Wahlkämpfe finden nicht mehr nur auf der Straße und in klassischen Medien statt, sondern zunehmend auch im Netz.
  • Deutschland mag den USA in dieser Hinsicht hinterherhinken, doch auch hierzulande haben Parteien das Potenzial sozialer Medien erkannt – allen voran die AfD.
  • Online-Wahlkampf ist datengestützt und teils hochgradig personalisiert, Menschen sollen möglichst zielgenaue Botschaften ausgespielt werden.
  • Viele Nutzerïnnen sind sich dieser Personalisierung gar nicht bewusst und bekommen nichts von den Marketing-Mechanismen mit, die im Hintergrund ablaufen.

Politische Online-Werbung bringt Risiken mit sich:

  • Der Zuschnitt auf homogene Zielgruppen kann die Polarisierung der Gesellschaft verhärten, indem unterschiedlichen Gruppen jeweils Botschaften angezeigt werden, die ihre Vorurteile gegenüber anderen Menschen bestätigen.
  • Da der Online-Wahlkampf auf digitalen Werbeplattformen wie Facebook stattfindet, können Akteure mit großen finanziellen Mitteln mehr Menschen erreichen und das Netz mit ihren Anzeigen fluten. In klassischen Medien ist die Werbezeit reguliert, in sozialen Medien ist Aufmerksamkeit käuflich.
  • Obwohl Plattformen mittlerweile Werbebibliotheken veröffentlichen, bleibt Online-Werbung relativ intransparent und unübersichtlich, zumal bezahlte Beiträge algorithmisch ausgespielt werden. Das ist besonders gefährlich, wenn es um Negativ-Kampagnen geht, die Anhängerïnnen des politischen Gegners vom Wählen abhalten sollen.

Die Wahlkämpe in den USA, Großbritannien und anderen Ländern haben gezeigt, dass der „Mangel an klaren Vorgaben für bezahlte politische Kommunikation in der Onlinewelt eine Gefahr für eine freie, offene, pluralistische politische Willensbildung” darstelle. Es reicht nicht, auf Selbstregulierung der Parteien und Plattformen zu vertrauen. Deshalb braucht es regulatorische Maßnahmen – auch in Deutschland:

  • Verhaltensbasiertes Microtargeting sollte stark eingeschränkt werden, indem nur wenige demografische Daten als Grundlage dienen dürfen und eine Mindesgröße für Zielgruppen bei politischer Werbung eingeführt wird.
  • Möglicherweise könnte eine Quote helfen, wie sie aus dem Rundfunkbereich bekannt ist.
  • Die Aufsicht über die Finanzen politischer Werbetreibender muss von Parteien auf bezahlte Kommunikation anderer politischer Bewegungen und Organisationen ausgeweitet werden.
  • Es braucht Transparenz- und Rechenschaftspflichten für Plattformen, die Werbebibliotheken sollten etwa detaillierte Informationen zu den Targeting- und Ausspielungskriterien umfassen.
  • Plattformen könnten auch verpflichtet werden, ihre Werbealgorithmen einer unabhängigen Stelle zur Prüfung offenzulegen.

Unsere Einschätzung: Im Gegensatz zu den beiden anderen Veröffentlichungen haben wir dieses Papier noch nicht komplett gelesen – die mehr als 100 Seiten sprengen die Recherchezeit, die wir für ein Briefing aufbringen können.

Allerdings kennen wir Julian (was unsere Objektivität hoffentlich nicht beeinflusst) und waren mehrfach bei Workshops und Veranstaltungen der SNV. Deshalb trauen wir uns in dem Fall, eine zwar nicht blinde, aber einäugige Empfehlung auszusprechen, die auf der Lektüre des Policy Brief (SNV) und kursorischem Gegenlesen des Papers beruht.

Das Thema ist eher trocken – aber auch verdammt wichtig. Jahrelang war der Bereich weitgehend unreguliert, doch langsam tut sich etwas. In den kommenden Jahren dürften in Deutschland und auf europäischer Ebene mehrere Gesetze verabschiedet werden, die Parteien und Plattformen Regeln auferlegen. Dieses Paper ist eine gute Grundlage, um informiert mitzudiskutieren.

Be smart

In Ausgabe #620 schrieben wir:

Deshalb werden wir im Watchblog versuchen, neu veröffentlichte Studien nur in Ausnahmefällen separat aufzugreifen. Vielmehr wollen wir sie in den Kontext bisheriger Publikationen stellen und erklären, warum Forscherïnnen diesmal zu anderen Ergebnissen gelangt sind als ihre Kollegïnnen.

Denn (ein Auszug aus Briefing #603):

Nur weil Wissenschaft draufsteht, muss keine Wissenschaft drin sein: Nicht jedes „Paper“, das auf Twitter auftaucht, ist eine ernstzunehmende Arbeit. (…) Fachmagazine setzen meist Peer-Review-Verfahren voraus, bevor sie veröffentlichen. Paper auf Seiten wie arXiv werden zwar auch begutachtet, der Prozess gleicht aber eher einem Spamfilter, als einer kritischen Inhaltsprüfung.

Das gilt auch in diesem Fall: Die Studie zu Gegenrede ist ein Preprint, der auf ArXiv veröffentlicht wurde. Es wurde also noch nicht von anderen Wissenschaftlerïnnen begutachtet, weshalb besondere Vorsicht angebracht ist.

Vor allem in der Coronakrise, als in kurzer Zeit Hunderte Studien veröffentlicht wurden, führte diese „Fast Science” zu fragwürdigen Ergebnissen und Fehlschlüssen (Republik). Preprint-Server haben trotzdem ihre Berechtigung, weil sie wissenschaftliche Erkenntnisse frühzeitig anderen Forscherïnnen zu Verfügung stellen, die damit arbeiten können – aber sie begünstigen eben auch Clickbait-Wissenschaft (Netzpolitik).

Soweit wir das beurteilen können, sind alle drei Veröffentlichungen seriös und haben Aussagekraft. Allerdings sind wir nur zwei Journalisten, die selbst nie geforscht haben, und sagen deshalb: Checkt das lieber nochmal selbst.

Social Media & Politik

Ad-tivism: Für diejenigen, die die BlackLivesMatter-Bewegung unterstützen möchten, aber nicht in der Lage sind, Geld zu spenden, gibt es nun extra für diesen Zweck monetarisierte YouTube-Videos: einfach gucken und laufen lassen – schon gehen Werbeeinahmen an die Bewegung (Polygon).

Schon einmal im Briefing davon gehört

Zweifel an Google Trends: Einer NDR-Recherche zufolge sind die Daten von Google Trends bei weitem nicht so belastbar und zuverlässig wie geheimhin angenommen. Vielmehr handelt es sich bei den Daten nur um Stichproben.

Erkennung von Subvokalisierung: Willkommen in der Zukunft: Facebook hat jetzt ein Patent auf eine Brille für die Erkennung von Subvokalisierung. Subvokalisierung – oder auch stille Sprache – ist die interne Sprache, die typischerweise beim Lesen gesprochen wird.

Neue Features bei den Plattformen

Instagram

  • Am Ende ist es lange noch nicht vorbei: Instagram hatte im Zuge der Time-Well-Spent-Debatte ein Feature eingeführt, das den Nutzerïnnen das Gefühl von Überforderung nehmen sollten: Sobald alle neuen Fotos erscrollt wurden, gab es den Hinweis: „You are all caught up“, du kannst jetzt eigentlich etwas anderes machen. Damit könnte bald wieder Schluss sein, wie dieser Test zeigt (Digital Information World). Künftig könnte unter dem Hinweis „You are all caught up“ die Option auftauchen, alte oder vorgeschlagene Posts anzuschauen. Weiter, immer weiter.

Facebook Messenger

  • Business Inbox: Facebook launcht innerhalb der Messenger-App einen zweiten Posteingang (messengernews / facebook), damit private und geschäftliche Fragen von einem zentralen Ort aus beantwortet werden können.

Telegram

  • Video Editing Tools: Bei Telegram lassen sich jetzt Videos per Knopfdruck aufhübschen. Auch können Videos nun gekürzt und mit Stickern versehen werden. Zudem gibt es bei Telegram ab sofort eine Trending GIF Section. Alle News gibt es im Telegram-Blog.

Header-Foto von munshots bei Unsplash