Sprachmodelle

Große Sprachmodelle (LLMs) wie ChatGPT sind die bekanntesten generativen KI-Systeme. Du baust ein einfaches Bigramm-Modell, das Texte Token für Token erzeugt, und verstehst so, wie ein LLM grundsätzlich funktioniert. Außerdem lernst du, was Prompting bedeutet.

Voraussetzungen aus dem OOP-Lernpfad:

Klassen und Objekte — Tokenizer und BigrammModell sind eigene Klassen
String-Methoden — charAt, substring, split, equals
Felder — Tokenlisten sind Felder
Methoden — Training und Erzeugung sind separate Methoden

Die Lektionen

Text als Daten: Tokenisierung – wie Text in verarbeitbare Einheiten zerlegt wird
Wahrscheinlichkeiten für Wörter – wie das Modell lernt, welches Wort wahrscheinlich folgt
Ein Bigramm-Modell – ein einfaches Sprachmodell, das Texte erzeugt
Vom Bigramm zum LLM – was ein LLM anders macht
Prompting – wie man Eingaben formuliert, um gute Ergebnisse zu bekommen
Rückblick – das Wichtigste auf einen Blick