KI-Antworten überprüfen: woran Sie falsche Auskünfte erkennen

Warum falsche KI-Antworten so überzeugend klingen

Ein Sprachmodell versteht nicht, was es schreibt. Es sagt voraus, welches Wort als Nächstes am wahrscheinlichsten passt. Aus diesem einen Satz folgt fast alles Praktische — auch der Grund, warum falsche Antworten nicht wie falsche Antworten aussehen.

Ein Mensch, der etwas nicht weiß, zögert, schränkt ein oder sagt es. Ein Modell tut das nicht. Ihm fehlt der Unterschied zwischen „ich weiß es" und „das klingt plausibel". Ein erfundener Paragraf wird in derselben ruhigen Sicherheit präsentiert wie eine korrekte Angabe. Genau deshalb ist der Fehler im Arbeitsalltag so gefährlich: Er fällt nur auf, wenn man das Thema ohnehin kennt.

In Schulungen provoziere ich solche Fehler bewusst. Wer einmal gesehen hat, mit welcher Selbstverständlichkeit eine erfundene Quelle genannt wird, geht danach anders mit den Werkzeugen um als jemand, dem nur die Erfolgsbeispiele vorgeführt wurden.

Ein verbreiteter Einwand lautet, das Problem erledige sich mit der nächsten Modellgeneration. Die Erfahrung spricht dagegen — und zwar auf eine unangenehme Weise: Neuere Modelle raten seltener, dafür sind die verbleibenden Fehler feiner und dadurch schwerer zu bemerken. Ein grob falsches Ergebnis fällt auf. Eine Angabe, die zu 90 Prozent stimmt und im entscheidenden Detail abweicht, nicht.

Für die Praxis heißt das: Die Prüfroutine wird nicht überflüssig, sie wird wichtiger. Und sie muss sich auf das konzentrieren, was überhaupt überprüfbar ist — auf Fakten, nicht auf Formulierungen.

Bei welchen Aufgaben Sie besonders aufpassen müssen

Das Risiko verteilt sich nicht gleichmäßig. Es hängt davon ab, ob eine Aufgabe Wissen verlangt oder nur Sprache.

Aufgabentyp	Risiko	Was schiefgeht
Umformulieren, kürzen, Ton ändern	gering	Das Ausgangsmaterial kommt von Ihnen
Struktur vorschlagen, gliedern	gering	Prüfbar auf einen Blick
Langen Text zusammenfassen	mittel	Nebenaussagen verschwinden, Betonungen verschieben sich
Übersetzen	mittel	Fachbegriffe und Haftungsformulierungen
Rechnen, Zahlen übertragen	hoch	Plausible, aber falsche Werte
Rechtsfragen beantworten	sehr hoch	Deutsches statt österreichisches Recht, veraltete Fassungen
Quellen und Studien nennen	sehr hoch	Existiert oft schlicht nicht

Die Faustregel dahinter ist einfach: Je mehr überprüfbare Fakten in der Antwort stehen, desto genauer müssen Sie hinsehen. Ein umformulierter Absatz braucht keine Quellenprüfung. Eine Auskunft mit Paragrafen und Fristen schon.

Sieben Schritte, um KI-Antworten zu überprüfen

KI-Antworten überprüfen dauert im Alltag unter einer Minute — vorausgesetzt, die Routine sitzt. Genau deshalb gibt es sie unten auch als Aushang zum Mitnehmen.

1. Enthält die Antwort Details, die das Modell nicht wissen kann? Paragrafen, Fristen, Preise, Namen, Studien, Ihre internen Zahlen. Alles davon ist prüfpflichtig.
2. Ist eine Quelle genannt — und existiert sie? Erfundene Quellenangaben sind der häufigste Einzelfehler. Ein Titel, der plausibel klingt, ist kein Beleg.
3. Stimmt der Rechtsraum? Bei österreichischen Fragen antworten Modelle oft mit deutschem Recht. DSG und BDSG sind nicht dasselbe, ArbVG und BetrVG auch nicht.
4. Rechnen Sie Zahlen selbst nach. Prozentwerte, Summen, Umrechnungen. Ein Sprachmodell rechnet nicht, es formuliert Zahlen.
5. Fragen Sie dieselbe Sache nochmal, anders formuliert. Weicht die zweite Antwort inhaltlich ab, war mindestens eine der beiden geraten.
6. Prüfen Sie das Weggelassene. Bei Zusammenfassungen ist der häufigere Fehler nicht das Erfundene, sondern das Fehlende — die Einschränkung, die im Original stand.
7. Würden Sie dafür geradestehen? Was hinausgeht, verantworten Sie. Nicht das Werkzeug, nicht der Anbieter.

Was sich technisch dagegen tun lässt

Ein Teil des Problems lässt sich schon beim Stellen der Aufgabe entschärfen.

Material mitgeben statt abfragen. Wer den Ausgangstext mitliefert und um eine Zusammenfassung bittet, bekommt deutlich verlässlichere Ergebnisse als jemand, der nach freiem Wissen fragt. Das Modell arbeitet dann mit dem, was vor ihm liegt.

Unsicherheit erlauben. Ein Zusatz wie „Wenn du etwas nicht sicher weißt, schreib das dazu, statt zu raten" wirkt zuverlässiger, als die meisten erwarten.

Aufgaben zerlegen. Wer gleichzeitig recherchieren, strukturieren und formulieren lässt, bekommt alles halb. Getrennte Schritte mit Zwischenkontrolle sind langsamer und liefern brauchbarere Ergebnisse.

Werkzeuge mit Websuche bevorzugen, wo Fakten gefragt sind. Modelle, die während der Antwort im Netz nachsehen, nennen echte Quellen statt erfundener. Verlässlich ist das trotzdem nicht automatisch — geprüft werden muss, ob die genannte Seite auch das aussagt, was ihr zugeschrieben wird. Nicht selten stimmt die Quelle und die daraus gezogene Schlussfolgerung nicht.

Nicht nach Bestätigung fragen. Wer schreibt „Stimmt es, dass …", bekommt überdurchschnittlich oft ein Ja. Sprachmodelle neigen dazu, der Fragestellung zu folgen. Offene Formulierungen wie „Was gilt bei …" liefern ausgewogenere Antworten.

Was all das nicht ersetzt: den Menschen, der am Ende hinsieht. KI-Antworten überprüfen bleibt eine menschliche Aufgabe. Der EU AI Act verlangt in Artikel 4 ausdrücklich, dass Beschäftigte die eingesetzten Systeme einschätzen können — nachzulesen im Verordnungstext auf EUR-Lex. Genau diese Fähigkeit ist gemeint.

So sieht der Fehler im Betrieb aus

Ein typischer Ablauf, den ich in Schulungen immer wieder geschildert bekomme: Jemand in der Verwaltung soll ein Kundenschreiben aufsetzen, in dem eine Frist genannt wird. Die Frist ist nicht auswendig bekannt, also wird gefragt. Die Antwort kommt sofort, nennt eine Zahl, klingt fundiert — und wandert ungeprüft in den Brief.

Auffallen kann das an zwei Stellen: Entweder jemand im Haus liest gegen und stutzt, oder der Kunde beruft sich später darauf. Der zweite Fall ist der teurere, weil aus einer Formulierung im Schreiben schnell eine Zusage wird, an der man festgehalten wird.

Bemerkenswert daran ist, dass niemand fahrlässig gehandelt hat. Die Person hat ein Werkzeug benutzt, das der Betrieb bereitgestellt hat, und ein Ergebnis übernommen, das nach Fachwissen aussah. Das Problem liegt nicht bei ihr, sondern darin, dass nie festgelegt wurde, welche Angaben vor dem Versand zu prüfen sind.

Was tun, wenn Sie einen Fehler entdecken?

Zwei Reaktionen sind verbreitet und beide führen nicht weiter: das Werkzeug verbieten oder den Vorfall stillschweigend korrigieren. Das Verbot verlagert die Nutzung ins Verborgene, das Schweigen sorgt dafür, dass derselbe Fehler nochmal passiert.

Wirksamer ist ein kurzer, unaufgeregter Ablauf:

• Korrigieren und dokumentieren. Was ging hinaus, an wen, was war falsch, was wurde richtiggestellt. Zwei Sätze genügen.
• Im Team ansprechen — ohne Schuldzuweisung. Ein konkreter Fall wirkt in der Runde stärker als jede allgemeine Warnung, aber nur, wenn niemand vorgeführt wird.
• Die Regel nachschärfen. Meist zeigt der Vorfall eine Lücke: eine Dokumentart, für die keine Prüfpflicht festgelegt war.

Betriebe, die einen solchen Ablauf einmal durchgespielt haben, gehen deutlich gelassener mit dem Thema um. Nicht weil weniger passiert, sondern weil klar ist, was dann zu tun ist.

Der Fall, der in Österreich besonders oft passiert

Fragt jemand ein Sprachmodell zu einer arbeits- oder datenschutzrechtlichen Frage, kommt die Antwort auffallend häufig mit deutschem Recht — weil dazu ungleich mehr Material existiert. Das Ergebnis liest sich korrekt, nennt Paragrafen und wirkt fundiert. Es passt nur auf das falsche Land.

Der Prüfschritt dagegen ist billig: Jede Rechtsaussage gegen das Rechtsinformationssystem des Bundes gegenprüfen. Dort steht das österreichische Recht im Volltext, kostenlos und aktuell. Wer diese eine Gewohnheit einführt, fängt einen großen Teil der praktisch relevanten Fehler ab.