Studie: 45-80% Halluzinationsrate bei KI

Das AI-Slop-Problem: Wenn KI KI kopiert

Erst mal kurz vorab: Was ist Slop? Slop (KI-Slop) sind Inhalte niedriger Qualität, die mit KI generiert werden. Der Begriff kommt aus dem Englischen („Mansch“, „Schlicker“) und ist so abwertend gemeint wie „Spam“.

Seit 2022 schwemmt diese Art Beiträge das Internet voll, weil es sich damit leicht Geld verdienen lässt. Über z.B. Facebook, TikTok und Engagement Farming.

Dieser Inhalt landet dann in Foren, auf Reddit, in Google-Ergebnissen. Und damit beginnt der negative Kreislauf.

Ich hatte letzte Woche auch noch eine Situation mit einem Kunden. Der sagt: „Die Software kann das nicht.“ Ich sage: „Doch, klick mal da.“ Er klickt. „Oh ja, stimmt.“

Was war passiert? Er hatte ChatGPT gefragt (erstmal schlau). Die KI sagte dann, das Feature würde es nicht geben. Er hat's geglaubt.

Aber wie oft halluziniert KI eigentlich?

Vorab einmal eingeordnet: Halluzinieren heißt bei KI, die Antwort ist erfunden und falsch. Dabei gibt Dir die KI oft mit voller Überzeugung eine Antwort, die sie sich aus den Fingern gesaugt hat. Klingt oft plausibel, ist aber Bullshit.

Die HalluLens-Studie (2025) hat KI-Modelle getestet mit Fragen, deren Antworten definitiv in den Trainingsdaten sind. Das Ergebnis ist die folgende Halluzinationsrate:

Und diese erfundenen Antworten landen online. In Foren. Auf Reddit. In Facebook-Gruppen. Und dann beginnt der Kreislauf:

KI halluziniert → landet als „Wahrheit“ online → wird wieder von KI genutzt → jemand glaubt es → noch mehr falsche Informationen. Das ist genau dieser AI-Slop.

Zugegeben: Bei manchen Aufgaben werden die Modelle besser. Wenn KI ein Dokument zusammenfassen soll, das Du ihr gibst, liegen die Halluzinationsraten heute bei unter 2%. Das ist eine massive Verbesserung.

Aber diese Verbesserungen gelten nur für Aufgaben, wo die KI eine Quelle hat, die sie nutzen kann. Sobald die KI auf ihr „Wissen“ zurückgreifen muss (also genau das, was die meisten Leute tun, wenn sie ChatGPT nach einer Antwort fragen) sehen die Zahlen wieder so aus wie oben.

Und was ist jetzt noch Single Source of Truth?

Vor 10 Jahren hast Du Dir für Dein Problem zum Beispiel ein YouTube-Video angeguckt, in dem Dir jemand das Thema in einem 30 Minuten Video erklärt und konkret gezeigt hat. Problem gelöst.

Heute fragst Du ChatGPT. Die KI sagt, tausch den Kondensator. Du tauschst ihn. Doch es funktioniert nicht... Warum? KI hat mal wieder halluziniert. Oder als Quelle eine halluzinierte Lösung aus einem Forum genutzt.

Wem glaubst Du also noch? Google? Der KI? Dem Reddit-User? Ich würde sagen es kommt auf das Thema an. Aber stumpf Online Ergebnissen Vertrauen? Besser nicht.

Centaur vs. Reverse Centaur: Die Dystopie ist da

Mal ehrlich: Befinden wir uns schon in einer Dystopie? Diese Woche bin ich über einen Artikel von Cory Doctorow gestolpert. Der Typ ist Science-Fiction-Autor und wird dafür bezahlt, sich düstere Zukunftsszenarien auszudenken. Sein aktuelles Thema: „Reverse Centaurs“.

Nachdem ich den Artikel gelesen habe, dachte ich: Hmm, das ist keine Dystopie mehr. Das ist Realität.

Was ist ein Centaur? Was ist ein Reverse Centaur?

Klingt erstmal abstrakt. Aber irgendwo ist es schon Realität. Doctorow bringt dafür Beispiele, die mir nicht mehr aus dem Kopf gegangen sind.

Beispiel 1: Der Amazon-Fahrer

Ein Amazon-Prime-Fahrer wird von KI-Kameras überwacht. Die KI checkt, ob er sich anschnallt, ob er aufs Handy schaut, ob er singt. Ja, richtig gelesen: Singen ist in seinem Arbeitsvertrag als „unerwünscht“ markiert. Die KI meldet dann jede Abweichung.

Der Fahrer ist nicht mehr der Mensch, der ein Auto fährt. Er ist das Fleisch, das die Lücken der KI schließt, weil selbstfahrende Autos noch nicht überall erlaubt sind.

Sobald Autonomes Fahren jedoch wirklich überall funktioniert und Roboter auch die Pakete verteilen können, ist er weg...

Beispiel 2: Der Radiologe

Ein Radiologe soll Krebsgeschwüre auf Röntgenbildern erkennen. Normalerweise macht er 30 Diagnosen am Tag. Jetzt kommt eine KI, die das auch kann. Angeblich besser, schneller und effizienter.

Jetzt soll der Radiologe nicht mehr 30 Diagnosen machen. Er soll 3.000 Diagnosen absegnen. Die KI macht seine alte Arbeit und er gibt nur noch seinen Segen.

Und was hat das mit dem Mittelstand zu tun?

Ganz einfach: Diese Entwicklung passiert gerade auch in Deinem Unternehmen.

Mitarbeiter nutzen künstliche Intelligenz und Hilfsmittel, um schneller zu arbeiten. Texte schreiben, E-Mails formulieren, Datenanalysen machen. Klingt erstmal gut und ist ja auch produktiver (oder?).

Aber: Wer trägt die Verantwortung, wenn die KI Mist baut? Der Mitarbeiter.

Wer muss die Fehler finden? Der Mitarbeiter.

Wer wird gefeuert, wenn was schiefgeht? Der Mitarbeiter.

Die KI macht uns nicht besser. Sie macht uns zu Reverse Centaurs. Doctorow beschreibt ein Szenario, bei dem Firmen ihre Senior-Entwickler feuern, weil sie zu teuer sind.

Die werden ersetzt durch KI und Junior-Entwickler, die die KI überwachen sollen. Aber genau die Seniors würden die subtilen Fehler der KI erkennen.

Die Juniors? Keine Chance. Die haben die Erfahrung nicht. Und irgendwann sind keine Seniors mehr da... Dann haben wir ein Problem.

Was bedeutet das für Dich als Geschäftsführer?

Die Frage ist nicht, ob das alles so kommt. Die Frage ist, WIE Du es einsetzt und nutzt. Und da hast Du mehr Kontrolle als Du denkst.

Konkret: Du entscheidest, ob Deine Mitarbeiter KI als Werkzeug nutzen (Centaur) oder ob sie zu Fehler-Checkern der KI degradiert werden (Reverse Centaur).

Ein Beispiel: Dein Vertriebsteam nutzt KI um E-Mails zu schreiben.

Der Unterschied? Prozess-Design. Schulung. Klare Regeln wofür KI genutzt wird und wofür nicht.

Ja, manche Entwicklungen sind nicht aufzuhalten. KI wird Code schreiben, Radiologen werden weniger Bilder einzeln ansehen. Aber Du entscheidest:

OpenClaw/Moltbot: Zukunft oder Albtraum?

Der Film „Matrix“ ist jetzt über 25 Jahre alt. Das Buch „1984“ ist aus dem Jahr 1949. Und der Film „2001: Odyssee im Weltraum“ ist aus dem Jahr 1968.

Alle drei handeln von einer Welt, in der Menschen die Kontrolle verlieren. An Maschinen. An Algorithmen. An Systeme, die sie selbst erschaffen haben.

Was daran so verrückt ist? Diese Geschichten haben genau das prophezeit, was aktuell passiert. Es waren Warnungen.

Und in den letzten zwei Wochen ging ein Projekt so richtig viral, das die Grenze zwischen Science-Fiction und Realität endgültig verwischt hat.

Es heißt OpenClaw (auch bekannt als Clawdbot oder Moltbot).

Aber was ist OpenClaw?

Es ist ein persönlicher AI-Assistent. Entwickelt als ein „Wochenend-Projekt“ von Peter Steinberger, einem Österreicher.

Das verrückte ist, dass sich diese KI selbst Skills baut. Du gibst ihr eine Aufgabe. Sie entwickelt Plugins. Sie dockt sich an Deine Dienste an – E-Mail, Nachrichten, Home Assistant. Sie arbeitet proaktiv, lernt Dich kennen, löst Probleme. Alles autonom.

Ich habe es letzte Woche getestet. Auf einem dedizierten Computer, abgetrennt von allem anderen. Und es funktioniert. Absolut Faszinierend... Und gefährlich.

Das größte Problem: Halbwissen

Ein Security-Forscher wollte wissen, wie leicht es ist, Leute zu hacken, die solche KI-Tools nutzen. Also hat er ein Fake-Tool gebaut und es „What Would Elon Do“ genannt.

Anschließend hat er den Download-Counter manipuliert, damit es aussieht als hätten das Tool bereits 4.000 Leute runtergeladen. Dadurch war es das meistgenutzte auf der Plattform.

Dann hat er gewartet... und bereits nach 8 Stunden hatten 16 Entwickler aus 7 Ländern das Ding installiert. Und schwupps – der Forscher hatte vollen Zugriff auf deren Computer. Und hätte damit alles machen können:

Daten klauen, Backdoors einbauen, was auch immer. Das Problem? Niemand checkt, was in so einem Tool wirklich drin ist. Die Leute sehen „4.000 Downloads“ und denken sich: „Scheint ja sicher zu sein.“

Und „What Would Elon Do“ war genau der richtige Name für die Zielgruppe. So einfach kann das gehen...

Neugierde und experimentierfreude ist da nicht wirklich hilfreich. Wie zum Beispiel bei einem Geschäftspartner von mir. Der schrieb mir: „Patrick, kannst Du mir helfen? Ich möchte OpenClaw nutzen. Könnte ich nicht theoretisch der KI Zugriff auf mein Depot geben, damit es für mich am Markt handelt?“

Sie erfindet Muster, die nicht existieren. Oder noch schlimmer: Du gibst einem Hacker Zugriff auf dein gesamtes Vermögen.

Dann bist Du schneller pleite als Du „OpenClaw“ sagen kannst. Und das ist nur eines von vielen Problemen.

Wohin geht die Reise mit KI und Agenten?

OpenClaw zeigt, wohin die Entwicklung geht. Persönliche Assistenten, die wirklich funktionieren. Du sagst, was Du willst. Das System macht es. Fertig.

Vergleich das mal mit Siri, Alexa oder Google Assistant. Die Dinger, die Du vollgelabert hast und die dann doch nur Musik abgespielt oder das Licht angemacht haben. Wenn überhaupt.

Das war der Stand der Technik. Persönliche Assistenten, die furchtbar nutzlos waren und weit hinter den Erwartungen zurückgeblieben sind. Mehr als simple Befehle ausführen war da nicht drin.

OpenClaw ist etwas komplett anderes. Die Technologie wird besser. Agenten werden autonomer. Und irgendwann werden sie Dinge tun, die wir nicht mehr kontrollieren können. Das ist keine Dystopie. Das ist die Realität, die gerade entsteht.

Und genau deswegen ist kritisches Denken wichtiger denn je. Du kannst nicht mehr sicher sein, ob die Information, die Du liest, valide ist oder ob sie von irgendeiner KI halluziniert wurde.