Bigramm

Ein Bigramm ist ein Paar aus zwei aufeinanderfolgenden Tokens.

Ein Bigramm-Modell zählt, wie oft welches Token auf welches folgt, und erzeugt daraus neuen Text: Es wählt das nächste Token zufällig nach seiner Wahrscheinlichkeit. Damit ist es ein generatives Modell.

Es sieht immer nur ein Token zurück. Deshalb wirken seine Texte über zwei Wörter hinweg sinnlos — genau der Punkt, an dem ein LLM ansetzt.