Halluzination

Eine Halluzination ist eine Ausgabe eines generativen KI-Systems, die plausibel klingt, aber faktisch falsch ist — eine erfundene Quellenangabe etwa oder ein Methodenname, den es nicht gibt.

Der Grund liegt im Verfahren: Ein LLM sagt vorher, welche Fortsetzung wahrscheinlich ist, nicht welche wahr ist. Es hat keine Instanz, an der es seine Ausgabe mit der Wirklichkeit abgleichen könnte, und kein Maß für die eigene Sicherheit.

Deshalb klingt eine Halluzination genauso selbstbewusst wie eine richtige Antwort, und deshalb müssen Aussagen eines LLM an einer unabhängigen Quelle geprüft werden.