Rückblick
Du hast ein Bigramm-Modell gebaut, verstanden, wie LLMs auf derselben Grundidee basieren, und gelernt, wie man Prompts formuliert.
Das kann ich jetzt
- Ich kann erklären, was Tokenisierung ist. (5.1)
- Ich kann Bigramme und bedingte Wahrscheinlichkeiten erklären. (5.2)
- Ich kann ein Bigramm-Modell in Java implementieren. (5.3)
- Ich kann die Unterschiede zwischen Bigramm-Modell und LLM nennen. (5.4)
- Ich kann gute Prompts formulieren. (5.5)
Das Wichtigste auf einen Blick
| Begriff | Bedeutung |
|---|---|
| Tokenisierung | Text in verarbeitbare Einheiten zerlegen |
| Bigramm | Paar aus zwei aufeinanderfolgenden Tokens |
| Bedingte Wahrscheinlichkeit | — wie wahrscheinlich ist B nach A |
| Bigramm-Modell | Generatives Modell, erzeugt Text Token für Token |
| LLM | Large Language Model, Transformer-Architektur, großer Kontext |
| Attention | LLM lernt, welche Tokens wichtig sind |
| Prompt | Eingabe an ein generatives KI-System |
| Prompt Engineering | Systematische Formulierung von Eingaben |
Das Bigramm-Modell und ein LLM beruhen auf derselben Grundidee: das nächste Token nach Wahrscheinlichkeit vorhersagen. Der Unterschied ist Kontext, Architektur und Skalierung. Prompting steuert die Ausgabe — und ist selbst eine Kompetenz, die man lernen kann.
Gemischte Aufgaben
Aufgabe 1: Vom Text zum Modell
Gegeben ist der Korpus:
ich sehe den Hund ich sehe die Katze ich höre den Hunda) Zerlege ihn mit split(" ") in Tokens. Wie viele Tokens sind es, und wie groß ist das Vokabular?
b) Bestimme alle Bigramme, die mit „ich" beginnen, und berechne und .
c) Das Modell startet bei „ich" und soll vier Tokens erzeugen. Welche Texte sind überhaupt möglich? Welcher ist am wahrscheinlichsten?
d) Warum kann dieses Modell den Satz „ich sehe die Katze" erzeugen, obwohl er im Korpus vorkommt — aber auch „ich höre die Katze", obwohl dieser Satz nicht im Korpus steht?
Tipp 1: Tabelle anlegen
Schreibe die zwölf Tokens durchnummeriert untereinander und bilde die Paare (Token 1, Token 2), (Token 2, Token 3) und so weiter. Es gibt immer genau ein Bigramm weniger als Tokens.
Tipp 2: zu c)
Geh den Baum durch: Nach „ich" gibt es zwei Möglichkeiten, nach jeder von ihnen wieder. Zeichne ihn auf, statt zu raten. Die Wahrscheinlichkeit eines Pfades ist das Produkt der Wahrscheinlichkeiten seiner Schritte.
Aufgabe 2: Einen Prompt reparieren
Eine Schülerin möchte ihren k-NN-Klassifikator aus Kapitel 2 verbessern lassen und schreibt an ein LLM:
mach meinen code besser
a) Nenne drei Gründe, warum dieser Prompt schlechte Ergebnisse liefern wird.
b) Schreibe den Prompt so um, dass er die vier Merkmale eines guten Prompts erfüllt.
c) Das LLM antwortet mit einer Methode Arrays.sort(distanzen). Warum ist diese Antwort für unsere Online-IDE unbrauchbar, und was sagt das über die reflektierte Nutzung von LLMs?
Tipp zu c)
Schlag in den Notizen zur Online-IDE nach, welche Methoden die Klasse Arrays dort überhaupt kennt. Woher könnte das Modell seine Antwort haben?