Überanpassung und Unteranpassung
Ein KI-Modell kann zu einfach oder zu komplex sein. Beides führt zu schlechten Ergebnissen — aber auf unterschiedliche Weise.
Die zwei Extreme
Überanpassung (Overfitting): Das Modell lernt die Trainingsdaten zu genau — inklusive Rauschen und Zufallseffekten. Es funktioniert perfekt auf Trainingsdaten, aber schlecht auf Testdaten.
Unteranpassung (Underfitting): Das Modell ist zu einfach, um die wirklichen Muster in den Daten zu erfassen. Es funktioniert schlecht auf Trainings- und Testdaten.
| Trainingsdaten | Testdaten | Ursache | |
|---|---|---|---|
| Überanpassung | sehr gut | schlecht | Modell zu komplex |
| Unteranpassung | schlecht | schlecht | Modell zu einfach |
| Gutes Modell | gut | gut | Komplexität passt |
Überanpassung beim k-NN
Beim k-NN bedeutet k = 1 Überanpassung: Jeder Testpunkt wird nach einem einzigen Nachbarn beurteilt — inklusive Ausreißern. k zu groß bedeutet Unteranpassung: Die Mehrheit der Trainingsdaten dominiert immer, feine Muster gehen verloren. Das Programm unten misst deshalb beide Quoten — auf den Trainingsdaten und auf den Testdaten. Erst der Vergleich der beiden verrät, welcher der zwei Fehler vorliegt.
Bevor du das Programm ausführst: Bei k = 1 ist jeder Trainingspunkt sein eigener nächster Nachbar — seine Distanz zu sich selbst ist 0. Was bedeutet das für die Trefferquote auf den Trainingsdaten? Überlege, bevor du weiterliest.
a) Führe das Programm aus und trage die sechs Werte in eine Tabelle ein: Trainings- und Testquote für k = 1, k = 3 und k = 11.
b) Bei k = 1 ist die Trainingsquote perfekt, die Testquote aber nicht. Warum ist genau dieses Muster das Kennzeichen von Überanpassung?
c) Bei k = 11 sind beide Quoten schlecht. Rechne nach, warum: Wie viele A und wie viele B gibt es in den Trainingsdaten, und was folgt daraus für jede einzelne Vorhersage?
d) Entferne den Ausreißer (15, 5, „B") aus den Trainingsdaten und führe das Programm erneut aus. Welche Quoten verbessern sich dadurch?
Tipp 1: Woran erkennt man die beiden Fehler?
Schau nicht auf eine einzelne Zahl, sondern auf den Abstand zwischen Trainings- und Testquote:
- Trainingsquote hoch, Testquote deutlich niedriger → Überanpassung.
- Beide Quoten niedrig → Unteranpassung.
Tipp 2: zu c)
Bei k = 11 stimmen alle elf Trainingspunkte ab — bei jedem Testpunkt dieselben elf. Das Ergebnis hängt dann gar nicht mehr davon ab, wo der Punkt liegt.
- Überanpassung (k zu klein): Das Modell merkt sich jedes Detail, auch Ausreißer. Gute Trainingsquote, schlechte Testquote.
- Unteranpassung (k zu groß): Das Modell ist zu grob. Schlechte Trainings- und Testquote.
- Ziel: Ein k finden, das weder zu klein noch zu groß ist — die „goldene Mitte".
Überanpassung sehen
Dieselben elf Trainingspunkte und drei Testpunkte wie im Programm. Gefüllt sind die Trainingsdaten, hohl die Testdaten. Unter der Zeichnung stehen beide Quoten nebeneinander.
a) Stelle k auf 1, 3 und 11 und lies jeweils beide Quoten ab. Es müssen dieselben sechs Werte herauskommen wie in deiner Tabelle.
b) Stelle k auf 1. Die B-Fläche reicht weit nach links, bis dicht an die A-Gruppe heran — obwohl dort nur ein einziger B-Punkt liegt, der Ausreißer bei (15 | 5). Klicke mit dem Werkzeug Testpunkt genau auf den hohlen Punkt bei (14 | 5). Welches Label sagt der Klassifikator, und welcher Nachbar steht dafür in der Tabelle?
c) Stelle k auf 3. Die Grenze springt nach rechts, und der Ausreißer liegt jetzt selbst im A-Gebiet — du siehst ihn als andersfarbigen Punkt mitten in der A-Fläche. Was passiert dadurch mit den beiden Quoten? Das ist der Kern von Überanpassung: Bei k = 1 hat sich das Modell den einen Punkt gemerkt, bei k = 3 verallgemeinert es die Gruppe.
d) Wähle das Werkzeug Löschen und klicke auf den Ausreißer (15 | 5). Stelle k wieder auf 1. Was passiert mit der Grenze und mit den beiden Quoten? Vergleiche mit Aufgabe d) von oben.
e) Stelle k auf 11. Erkläre, warum die Fläche einfarbig wird und beide Quoten gleichzeitig sinken.
Bei k = 1 ist der nächste Nachbar eines Trainingspunkts immer er selbst. Die Trainingsquote ist deshalb immer 100 % — sie sagt in diesem Fall gar nichts über das Modell aus. Nur die Testquote zählt.