Die Grundidee der Backpropagation

Forward Propagation berechnet eine Ausgabe. Aber woher weiß das Netz, ob die Ausgabe richtig ist? Und wie lernt es aus Fehlern? Die Antwort heißt Backpropagation — das Zurückrechnen des Fehlers durch das Netz.

Der Lernzyklus

flowchart TD
    A["Eingabe"] --> B["Forward Propagation<br/>→ Vorhersage"]
    B --> C["Vergleich mit<br/>echtem Label → Fehler"]
    C --> D["Backpropagation<br/>→ Fehler zurückrechnen"]
    D --> E["Gewichte anpassen<br/>(Lernrate)"]
    E --> A

1. Forward: Das Netz berechnet eine Vorhersage.
2. Fehler: Vergleiche Vorhersage und echtes Label → wie weit liegt das Netz daneben?
3. Backward: Rechne den Fehler rückwärts durch das Netz. Jedes Gewicht erfährt, wie viel es zum Fehler beigetragen hat.
4. Anpassen: Jedes Gewicht wird ein kleines Stück in die Richtung korrigiert, die den Fehler verringert.

Die Lernrate

Die Lernrate (learning rate) bestimmt, wie stark die Gewichte bei jedem Schritt angepasst werden:

• Zu klein: Das Netz lernt sehr langsam — viele Schritte nötig.
• Zu groß: Das Netz springt über das Optimum hinaus und kann instabil werden.
• Typischer Wert: 0.01 bis 0.1

Ein einfaches Beispiel am einzelnen Neuron

Ein Neuron hat ein Gewicht $w = 0.5$ und gibt für die Eingabe $x = 2.0$ die Ausgabe $y = w \cdot x = 1.0$. Das echte Label ist $y_{echt} = 1.5$. Der Fehler ist:

$\text{Fehler} = y_{echt} - y = 1.5 - 1.0 = 0.5$

Mit Lernrate $\eta = 0.1$ wird das Gewicht angepasst:

$w_{neu} = w + \eta \cdot \text{Fehler} \cdot x = 0.5 + 0.1 \cdot 0.5 \cdot 2.0 = 0.5 + 0.1 = 0.6$

Nach der Anpassung ist die Ausgabe $y_{neu} = 0.6 \cdot 2.0 = 1.2$ — näher an 1.5. Ein weiterer Schritt bringt uns noch näher.

Selbsttest