KI zwischen Hype und Realität: Das sind die größten Probleme

Was ist

In den vergangenen anderthalb Jahren ist aus dem Social Media Watchblog ein Teilzeit-KI-Watchblog geworden. Als OpenAI im November 2022 ChatGPT veröffentlichte, löste das eine Welle der Begeisterung aus, wie wir sie selten erlebt haben. Anfangs oszillierte die Debatte zwischen Doomer-Dystopien und Erlösungs-Szenarien, später verlagerte sich der Fokus zum Glück auf die realen Risiken und Probleme.

Wir treten heute einen Schritt zurück und sammeln die wichtigsten Gründe, warum die KI-Revolution ausbleiben oder später eintreten könnte als gedacht. Den Großteil haben wir bereits ausführlich in vergangenen Ausgaben beschrieben. Dieses Briefing dient deshalb eher als kompakter Überblick. Für tiefergehende Analysen verweisen wir auf unsere eigene Berichterstattung oder Texte anderer Medien.

KI verschlingt gewaltige Ressourcen

• Wenn Sprachmodelle Fragen beantworten, Bilder generieren oder Videos erzeugen, vergisst man leicht, was im Hintergrund geschieht. Tatsächlich benötigt generative KI enorme Ressourcen (Big Technology).
• Um die Modelle zu trainieren und zu betreiben, braucht es Rechenleistung und Wasser, um die Abwärme der Datenzentren zu kühlen. Google, Microsoft und Amazon geben Dutzende Milliarden Dollar für den Bau neuer Infrastruktur aus, kommen aber nicht hinterher (WSJ).
• Längst hat ein Wettlauf um leistungsfähige Grafikchips begonnen. Nvidia ist dank des KI-Booms zu einem der wertvollsten Unternehmen geworden. Sam Altman versucht, bei Investoren im Nahen Osten bis zu sieben Billionen Dollar einzusammeln (kein Übersetzungsfehler), um leistungsfähigere Chips zu konstruieren (WSJ).
• Der wohl größte Flaschenhals der KI-Entwicklung ist aber Energie (Internet-Observatorium). Rechenzentren verbrauchen so viel Strom wie ganze Volkswirtschaften, der Energiebedarf steigt rasant.
• Selbst Altman gibt zu, dass ein „technologischer Durchbruch“ bei der Stromerzeugung nötig sei, um den Energiebedarf von KI zu decken. Er setzt auf Fusionsenergie und hofft, dass im Zweifel KI dabei hilft, Lösungen für das Ressourcenproblem zu finden.

Trainingsdaten gehen zuneige

• Selbst das schier unendlich große Netz ist endlich. Wenn jeder Wikipedia-Eintrag gelesen, jeder Reddit-Post verarbeitet und jeder Online-Artikel analysiert wurde, könnten Sprachmodelle an ihre Grenzen stoßen (SMWB).
• Denn damit die Modelle halbwegs sinnvolle Antworten liefern, müssen sie mit riesigen Mengen an Texten trainiert werden (SMWB). Binnen weniger Jahre ist der Datenhunger ins Unermessliche gestiegen.
• Schon 2021 entwickelte OpenAI deshalb ein Tool, das den Ton von Videos in Text verwandelt (NYT). Damit transkribierten die Entwicklerïnnen mehr als eine Million Stunden YouTube-Clips und trainierten GPT-4.
• Das Grundproblem bleibt aber: KI-Modelle verschlingen das Material schneller, als Menschen neue Inhalte erzeugen können.
• GPT-2 beruhte 2019 auf 1,5 Milliarden Tokens, also Wörtern oder Wortfragmenten. Der Nachfolger GPT-3 erschien 2020 und wurde mit 300 Milliarden Tokens trainiert. In aktuelle Modelle fließen mehrere Billionen Tokens ein.
• Diese Entwicklung kennt eine natürliche Grenze: den Mangel an hochwertigen Daten. Die nächsten Modell-Generationen können nicht erneut mit einem Vielfachen des Materials trainiert werden. Technologische Sprünge werden also Effizienz und neue Ideen für die Entwicklung benötigen.

KI könnte sich an sich selbst verschlucken

• Studien zeigen, dass die Qualität von Sprachmodellen massiv nachlässt, wenn sie mit Inhalten gefüttert werden, die von anderen Modellen stammen (Arxiv). Es dauert nur ein paar Trainingszyklen, bis die KI kompletten Unsinn ausspuckt (SMWB).
• Dummerweise neigen Menschen dazu, ihre Umwelt zu verschmutzen. Sie vermüllen die Atmosphäre mit CO₂, die Ozeane mit Plastik – und das Netz mit KI-Dreck.
• Vermeintlich seriöse Medien veröffentlichen automatisiert erstellte Textimitationen von Fake-Autoren (Futurism). Wissenschaftliche Fachmagazine akzeptieren Fachartikel, die von ChatGPT geschrieben wurden. Sogar bei Peer-Reviews, die wissenschaftliche Qualität sicherstellen sollen, wird auf Sprachmodelle zurückgegriffen (404 Media).
• Je mehr diese KI-Outputs im Netz herumschwirren, desto größer wird das Risiko, dass es gleichzeitig als Input für künftige Sprachmodelle dient. KI lernt also von sich selbst und degeneriert.

Sprachmodelle könnten illegal entstanden sein

• Am Dienstag verklagten acht US-Zeitungen OpenAI und Microsoft (Axios). Ihr Vorwurf: ChatGPT und Copilot verletzten das Urheber- und Verwertungsrechte der Verlage und Journalistïnnen. Zudem reichten Künstlerïnnen eine ähnliche Klage gegen Google ein (Futurism).
• Fast gleichzeitig einigte sich die Financial Times mit OpenAI. Nach dem Axel-Springer-Verlag und der AP ist die Zeitung das nächste Medium, das Inhalte für das Training von KI lizenziert.
• Diese beiden Meldungen sind exemplarisch: Manche Verlage schließen Verträge, andere ziehen vor Gericht. Derzeit laufen ein halbes Dutzend Prozesse, bei denen Künstlerïnnen oder Verlage ihre Urheberrechte verletzt sehen.
• Einige Klagen wurden bereits abgewiesen, dabei ging es meist um die Frage, ob es illegal sei, KI mit fremdem geistigem Eigentum zu trainieren.
• Das größere Problem ist ohnehin der Output. Immer wieder spucken Sprachmodelle fast wörtliche Plagiate ganzer Absätze aus, Bildgeneratoren plagiieren reihenweise urheberrechtlich geschützte Filmszenen und bekannte Charaktere. Wenn sich KI-Konzerne nicht selbst mit den Urhebern einigen, könnten Richterinnen oder Politiker einschreiten (SMWB).
• Hinzu kommen weitere offene rechtliche Fragen. Anfang der Woche legte die Datenschutzorganisation Noyb Beschwerde bei der österreichischen Datenschutzbehörde ein. Sie wirft OpenAI vor, gegen die DSGVO zu verstoßen (SZ).
• Für Verstöße sieht die DSGVO Geldbußen von bis zu vier Prozent des Jahresumsatzes vor. Was für OpenAI bedrohlicher sein dürfte: Datenschutzbehörden können Unternehmen anweisen, ihre Datenverarbeitung offenzulegen und anzupassen.
• Die Beschwerde könnte also dazu führen, dass OpenAI ein wenig Licht in seine Blackbox lassen muss. Bislang verrät das Unternehmen nicht, mit welchen Daten seine Modelle trainiert wurden und wie die Antworten zustande kommen.

KI-Hardware ist bislang Schrott

• Eines muss man Humane und Teenage Engineering lassen: Die Unternehmen hinter dem Humane AI Pin und dem Rabbit R1 haben monatelang die Schlagzeilen geprägt. Offenbar war es ein gutes Marketing-Versprechen, dass diese KI-Gadgets das Smartphone ablösen könnten.
• Die Realität sieht anders aus. Selten waren sich die Tester so einig: Diese Produkte sind in der aktuellen Form unbrauchbar.
• Marques Brownlee, der mit seinen Reviews seit Jahren den Standard für Tech-YouTuber setzt, macht das bereits mit seinen Titeln deutlich: The Worst Product I've Ever Reviewed... For Now (YouTube), Rabbit R1: Barely Reviewable (YouTube). Der Testbericht und das zugehörige Video von David Pierce haben fast schön komödiantisches Potenzial, so gnadenlos sind die Verrisse (The Verge).
• Leider hält das Hersteller nicht davon ab, auf Teufel komm raus KI in ihre Produkte zu quetschen – vollkommen egal, ob das sinnvoll ist oder nicht (Ars Technica).
• Das heißt nicht, dass solche Hardware für immer ein leeres Versprechen bleiben wird. Nur wird es noch Jahre dauern, bis Gadgets, in deren Zentrum ein Sprachmodell steht, Smartphones sinnvoll ergänzen oder gar ersetzen können (Om Malik).

Sprachmodelle skalieren nicht unbegrenzt

• Der Sprung von GPT-3 auf GPT-3.5 war gewaltig. Die Veröffentlichung von ChatGPT löste Begeisterung aus und ließ die Fantasie vieler Menschen erblühen.
• Tatsächlich lag es nahe, sich die Leistungsfähigkeit von KI-Modellen auf einer exponentiellen Kurve vorzustellen. Ab jetzt würde jedes neue LLM mit den bisherigen den Boden aufwischen.
• Die PR der Tech-Konzerne und die apokalyptischen Warnungen vor angeblich hyperintelligenten Maschinen schürten den Hype. Akzelerationisten schwärmten von unbegrenzter Produktivität und der Lösung aller Menschheitsprobleme, Doomer beschworen die Apokalypse.
• Die Realität ist weniger spektakulär. Schon GPT-4 war nicht der ganz große Durchbruch, den Sam Altmann und OpenAI verheißen hatten. ChatGPT wurde schneller und produzierte weniger Bullshit. Für uns fühlt es sich aber „nur“ nach Fortschritt an, nicht nach Revolution.
• Selbst Google, das nahezu grenzenlose finanzielle Ressourcen in Forschung stecken kann, stellte mit Gemini allenfalls Augenhöhe mit OpenAI her (SMWB). Mittlerweile haben mehrere Unternehmen vergleichbare Modelle entwickelt, die alle dieselbe Schwäche haben: Man kann ihren Antworten nicht trauen, immer wieder vermischen sie Fakten und Fiktion.
• Für das Training von GPT-4 gab OpenAI rund 80 Millionen Dollar aus, Googles KI-Sprachmodell Gemini Ultra kostete fast 200 Millionen Dollar. Generative KI allein ist noch kein Geschäftsmodell, mit jeder Abfrage verlieren die Unternehmen Geld.
• Tech-Konzerne sind gut darin, eine goldene Zukunft auszumalen. Produkt X und Technologie Y werden die Art und Weise, wie wir reisen, lesen, spielen, arbeiten, leben für immer verändern.
• KI werde die Menschheit tiefgreifender verändern als Feuer oder Elektrizität, sagt Sundar Pichai. KI könne Forschenden helfen, noch in diesem Jahrhundert alle Krankheiten zu heilen, sagt Mark Zuckerberg.
• Das klingt tatsächlich fantastisch. Die Vergangenheit lehrt aber, dass sich viele dieser Versprechen nicht oder nur eingeschränkt erfüllt haben. Vielleicht wäre es sinnvoll, zumindest generative KI nicht daran zu beurteilen, was sie sein könnte, sondern daran, was sie ist – weil niemand weiß, wie schnell sie sich noch weiterentwickelt.

Die Honeymoon-Phase geht zu Ende

• Im vergangenen Jahr musste man nur „AI“ sagen, um Millionen für ein Start-up einzusammeln oder Aktionärïnnen zu überzeugen, dass es Milliardeninvestitionen brauche.