„Ich frag‘ mal kurz die KI“ – Wie vertrauenswürdig sind KI-Antworten?

Quellen sind die Achillesverse von KI-Antworten

Können Antworten von KI-Textgeneratoren zu Nachrichten und aktuellen Angelegenheiten journalistische Standards erfüllen? Das untersuchte jüngst die großangelegte Studie „News Integrity in AI Assistants“ der Europäischen Rundfunkunion (EBU). Die beteiligten öffentlich-rechtlichen Medienunternehmen aus 18 Ländern prüften hierfür mehr als 3.000 Antworten von ChatGPT, Copilot, Perplexity und Google Gemini.

Die zentralen Ergebnisse der Studie sind:

• 45 Prozent aller untersuchten KI-Antworten weisen mindestens eine gravierende Schwachstelle auf. Das heißt, sie enthalten zum Beispiel falsche oder veraltete Informationen, unterscheiden nicht angemessen zwischen Fakten und Meinung, bieten zu wenig Kontext für Laien oder liefern keine (nachvollziehbaren) Quellenangaben.
   
• 31 Prozent der KI-Antworten haben Quellen-Defizite – womit Quellen die Achillesverse der KI-Textgeneratoren sind. Die Bandbreite der Fehler in diesem Bereich ist hoch: Quellenangaben und Links fehlen entweder ganz, sind inkorrekt oder gänzlich erfunden. Die angegebenen Quellen sind an sich vertrauenswürdig und korrekt, stützen aber nicht die gemachten Behauptungen in der KI-Antwort. Oder es werden ungeeignete Quellen herangezogen, wie zum Beispiel satirische Inhalte.
   
• 20 Prozent der KI-Antworten geben Fakten nicht fehlerfrei und genau genug wieder. Dabei machen KI-Chatbots beispielsweise falsche Angaben zu Namen, Zahlen, Orts- und Zeitangaben, beschreiben Ereignisse nicht akkurat oder zitieren falsch. Ursächlich hierfür können veraltete Quellen oder Halluzinationen der KI sein.

Wie die Studie zeigt, sind maschinell generierte Antworten von KI-Chatbots derzeit keine vertrauenswürdige Quelle, um sich über das Weltgeschehen zu informieren. Auch der „AI False Claims Monitor“ des US-Unternehmens NewsGuard stützt dieses Ergebnis.

KI-Chatbots sind keine Experten

Wie fehleranfällig die Antworten von generativen KI-Tools sind, hängt dabei entscheidend vom konkreten Fachbereich, der Fragestellung und Datenlage ab. Wie eine Meta-Studie eines Wissenschaftlers der Queen’s University Belfast zeigt, liegt die Fehlerquote von ChatGPT zum Beispiel im Fachbereich IT beim Programmieren bei nur 13 Prozent – beim Prozess der Fehlerbehebung („Debugging“) jedoch bei mehr als 50 Prozent.

Auch wer ChatGPT und Co. gezielt für die Arbeit mit seriösen Quellen nutzt, sollte das Ergebnis kritisch unter die Lupe nehmen. Eine Studie zweier Wissenschaftler der Universitäten Utrecht und Cambridge fand heraus, dass die Zusammenfassungen wissenschaftlicher Arbeiten von KI-Textgeneratoren ungenaue Übertreibungen und Verallgemeinerungen enthalten. Je nach KI-Modell, traf dies auf 26 bis 73 Prozent der untersuchten Zusammenfassungen zu. Interessanterweise schnitten ältere Versionen von KI-Modellen besser ab als ihre jüngeren Nachfolger.

Darum sind KI-Antworten fehleranfällig

Auch wenn KI-Chatbots schnell und scheinbar überzeugend auf viele Fragestellungen antworten, sind sie fehleranfällig und wurden zuletzt sogar fehleranfälliger. Woran liegt das? KI-Chatbots bzw. die zugrundeliegenden Large Language Models (LLMs) sind nicht darauf trainiert, möglichst korrekte und journalistisch ausgewogene Antworten zu liefern. Sie sind darauf trainiert, die statistisch wahrscheinlichsten Wortfolgen zu generieren.

Durch die verstärkte Nutzung von Echtzeit-Websuchen sind neuere Versionen von KI-Chatbots „auskunftsbereiter“ als frühere Versionen. In den allermeisten Fällen geben sie eine Antwort, auch wenn diese nicht qualitativ hochwertig ist. Problematisch ist zudem, dass neuere Versionen von KI-Modellen mit immer mehr Trainingsdaten trainiert werden, die selbst bereits KI-generiert sind. Dadurch verschlechtert sich ihre Leistung nachhaltig, was auch als „Modellzusammenbruch“ bezeichnet wird. 

Tipps zum Umgang mit fehleranfälligen KI-Antworten

Wie können wir Kinder und Jugendliche auf die Nutzung von KI-Chatbots mit den oben skizzierten Schwachstellen vorbereiten? Das Institut für Digitale Ethik an der Hochschule für Medien (HdM) Stuttgart bietet mit seinen „10 Geboten der KI-Ethik“ eine wichtige Orientierung. Drei dieser Gebote sind in diesem Zusammenhang besonders relevant:  

• „Glaube nicht alles, was dir die KI erzählt und überprüfe die Ergebnisse immer kritisch.“
  Da die größte Schwachstelle der gängigen KI-Chatbots die Quellenangaben sind, sollten Schülerinnen und Schüler üben, diese mit Sorgfalt zu prüfen: Sind die Quellen vertrauenswürdig? Sind sie aktuell? Belegt die Quelle wirklich, was in der KI-Antwort behauptet wird? Um unseriöse Quellen auszuschließen, können auch bereits in der Fragestellung Quellen für die Recherche eingegrenzt werden.
• „Denke zuerst selbst nach, bevor du KI nutzt, und trainiere deine eigenen Fähigkeiten.“
  Wer KI-Antworten zu einem Thema richtig einordnen möchte, benötigt grundlegendes Wissen über diesen Bereich. Über ein bislang unbekanntes Thema sollten sich Kinder und Jugendliche am besten zunächst auf seriösen Nachrichtenportalen, über Fachliteratur oder in (populär-)wissenschaftlichen Quellen informieren. Um Erfahrungen mit KI-Chatbots und möglichen Fehlern zu sammeln, können sie mit Fragestellungen zu Themen experimentieren, mit denen sie sich selbst gut auskennen.
• „Sei dir bewusst, dass du mittels KI manipuliert werden kannst.“
  Wie die Studie „News Integrity in AI Assistants“ zeigt, vermischen KI-Antworten zum Teil Fakten und Meinung oder liefern zu wenig Kontext für Laien. Um diesen Schwachstellen entgegenzuwirken, können Abfragen mit demselben KI-Chatbot, aber auch mit anderen generativen KI-Tools oder klassischen Suchmaschinen wiederholt werden. Der Vergleich von Antworten kann Fehler zutage fördern. Aufmerksam gemacht werden sollten Schülerinnen und Schüler zudem auf den sogenannten Bestätigungsfehler: Fragen an einen KI-Chatbot sollten möglichst neutral formuliert werden und keinesfalls als Suggestivfrage, die eine bestimmte Antwort nahelegt („Findest du nicht auch, dass …?“).
   

Die Kampagne „BITTE WAS?! – Kontern gegen Fake und Hass“ klärt nicht nur am heutigen Safer Internet Day, sondern das ganze Jahr lang über Fake, Hass und Hetze im Netz auf.  Sie motiviert Kinder und Jugendliche, sich aktiv für ein respektvolles gesellschaftliches Miteinander starkzumachen – online wie offline. Mit der aktuellen #ZeichenSetzen-Challenge ruft sie Schülerinnen und Schüler aus Baden-Württemberg dazu auf, kreative Beiträge einzureichen zum Thema: „Mitreden im Netz: Gemeinsam für Demokratie auf Social Media!“ Die Challenge läuft noch bis 30. April 2026.

Mehr über die Challenge erfahren