Ausgabe #890 | 29.6.2023
Was ist
In den vergangenen Tagen haben sich mehrere kluge Menschen Gedanken darüber gemacht, wie die Omnipräsenz von künstlich generierten Inhalten das Netz verändern könnte. Ihre Befürchtung: Sprachmodelle verstopfen die etablierten Institutionen und Plattformen mit Bullshit, das Web erodiert.
Wie KI-Content überhand nimmt
- Gleich im ersten Absatz nennt James Vincent mehr als ein Dutzend Beispiele für das, was er als Sterben des alten Netzes bezeichnet (The Verge):
In recent months, the signs and portents have been accumulating with increasing speed. Google is trying to kill the 10 blue links. Twitter is being abandoned to bots and blue ticks. There's the junkification of Amazon and the enshittification of TikTok. Layoffs are gutting online media. A job posting looking for an "AI editor" expects "output of 200 to 250 articles per week." ChatGPT is being used to generate whole spam sites. Etsy is flooded with "AI-generated junk." Chatbots cite one another in a misinformation ouroboros. LinkedIn is using AI to stimulate tired users. Snapchat and Instagram hope bots will talk to you when your friends don't. Redditors are staging blackouts. Stack Overflow mods are on strike. The Internet Archive is fighting off data scrapers, and "AI is tearing Wikipedia apart." The old web is dying, and the new web struggles to be born.
- Seine Beobachtungen lassen sich so zusammenfassen: Einst war das Netz von Menschen gemacht, sie erstellten Webseiten, Blogs und Foren. Die Inhalte schrieben sie selbst, manche verdienten damit auch ein wenig Geld.
- Darauf folgte das Web 2.0, das von großen Tech-Konzernen dominiert wurde. Sie erkannten, dass sich nutzergenerierte Inhalte monetarisieren lassen und bauten kostenlose Plattformen, auf denen Menschen mit ihrer Aufmerksamkeit bezahlen.
- Das Aufkommen von LLMs wie ChatGPT bringt diese Ordnung durcheinander. Binnen weniger Monate hat KI-Content das Netz geflutet. Das Problem: Diese Inhalte lassen sich nicht nur günstig erzeugen, sie haben nahezu keinen Gehalt.
- Sprachmodelle erschaffen nichts Neues, sie sind unkreativ, erwartbar und wenig hilfreich. Teils liefert ChatGPT auch Text, der überzeugend klingt, aber voller Fehler ist, die viele Menschen nicht erkennen.
- Bereits im Februar verglich Ted Chiang ChatGPT mit einem "blurry jpeg of the web" (New Yorker). LLMs verleiben sich enorme Mengen an Texten aus dem Netz ein und spucken verlustbehaftete, komprimierte Kopien aus:
Think of ChatGPT as a blurry jpeg of all the text on the Web. It retains much of the information on the Web, in the same way that a jpeg retains much of the information of a higher-resolution image, but, if you’re looking for an exact sequence of bits, you won’t find it; all you will ever get is an approximation. But, because the approximation is presented in the form of grammatical text, which ChatGPT excels at creating, it’s usually acceptable. You’re still looking at a blurry jpeg, but the blurriness occurs in a way that doesn’t make the picture as a whole look less sharp.
Warum KI sich an sich selbst verschluckt
- Aufbauend auf den Überlegungen von James Vincent geht Casey Newton einen Schritt weiter. "The AI is eating itself", schreibt er(Platformer) und meint damit: Je mehr KI-Content im Netz herumschwirrt, desto größer wird der Anteil dieser Inhalte an den Trainingsdaten für künftige Sprachmodelle. KI lernt also von sich selbst.
- Dummerweise hat das nichts mit selbstlernenden Systeme zu tun, es führt eher zu einer Verdummung. "Will GPT models choke on their own exhaust?", fragte Cambridge-Professor Ross Anderson vor einigen Wochen (Light Blue Touchpaper).
- Er ist Co-Autor einer Studie (Arxiv), die zeigt, dass die Qualität von LLMs massiv nachlässt, wenn sie mit Inhalten trainiert werden, die von anderen LLMs stammen. Es dau…