Forward Propagation

Jetzt verbindest du Neuronen zu Schichten und Schichten zu einem Netz. Forward Propagation ist der Prozess, bei dem Daten von der Eingabeschicht durch das Netz zur Ausgabeschicht fließen.

Die Schicht-Klasse

Eine Schicht ist eine Sammlung von Neuronen. Sie empfängt ein Feld von Eingaben und gibt ein Feld von Ausgaben zurück — eine pro Neuron.

Forward Propagation ist der Datenfluss von Ein- zu Ausgabe: Die Eingabeschicht empfängt die Rohdaten, jede verdeckte Schicht berechnet ihre Ausgabe aus der vorherigen Schicht, und die Ausgabeschicht liefert das Ergebnis. Jedes Neuron berechnet: gewichtete Summe → Aktivierungsfunktion → Ausgabe.

a) Führe das Programm aus. Notiere die drei Ausgabewerte.

b) Was passiert, wenn du die Eingabe auf {0.0, 0.0} änderst? Welche Ausgaben erwartest du?

c) Ändere die Aktivierungsfunktion der Schicht auf ReLU. Wie verändern sich die Ausgaben? (Du musst dafür die Klasse ReLU.java aus Lektion 4.2 als weitere Datei ergänzen.)

Tipp zu b)

Schau dir berechne im Neuron an: summe startet beim Bias, und jeder Summand ist gewichte[i] * pEingabe[i]. Was bleibt von der Summe übrig, wenn jede Eingabe 0 ist?

Lösung. Erfrage das Passwort bei deiner Lehrkraft.

Der Weg durch das Netz

Hier siehst du, was Forward Propagation bedeutet: Die Zahlen wandern von links nach rechts, und jede Ausgabe einer Schicht wird zur Eingabe der nächsten. Eingestellt sind die Gewichte aus dem Programm; über Gewichte des Netzes kannst du sie ändern.

a) Drücke auf Schritt für Schritt und dann zweimal auf den blauen Knopf. Welche Schicht wird zuerst berechnet, welche danach? Vergleiche die drei Werte der verdeckten Schicht mit den Ausgaben aus deinem Programmlauf.

b) Stelle beide Eingaben auf 0. Unter der Zeichnung stehen die drei Rechnungen. Woraus besteht die Summe eines Neurons jetzt noch?

c) Schalte die Aktivierung auf ReLU. Welches der drei verdeckten Neuronen wird bei Eingabe (0 | 0) vollständig abgeschaltet?

Tipp zu c)

ReLU gibt für negative Summen genau 0 zurück. Schau in die drei Rechnungen: Welches Neuron hat einen negativen Bias?

Selbsttest

1. Was ist Forward Propagation?

{r1{!Der Datenfluss von der Eingabeschicht durch das Netz zur Ausgabeschicht.}}

{r1{Das Zurückrechnen des Fehlers von der Ausgabe zur Eingabe.}}

{r1{Das Trainieren des Netzes mit gelabelten Daten.}}

{r1{Das Teilen der Daten in Trainings- und Testdaten.}}

{h{„Forward" = vorwärts, also vom Eingang zum Ausgang.}}

{H{Richtig! Forward Propagation berechnet die Ausgabe des Netzes für gegebene Eingaben.}}

2. Was berechnet ein Neuron bei der Forward Propagation? (Mehrfachauswahl)

{c1{!Gewichtete Summe der Eingaben plus Bias}}

{c1{!Anwendung der Aktivierungsfunktion auf die Summe}}

{c1{Cluster-Zuordnung des Eingabepunkts}}

{c1{Distanz zu allen Trainingspunkten}}

{h{Das Neuron berechnet Summe und wendet dann die Aktivierungsfunktion an.}}

{H{Richtig! Ein Neuron berechnet die gewichtete Summe und wendet die Aktivierungsfunktion an.}}

3. Eine Schicht mit 3 Neuronen empfängt 2 Eingaben. Wie viele Ausgaben hat sie?

{r2{!3 — eine pro Neuron}}

{r2{2 — eine pro Eingabe}}

{r2{1 — die Summe aller Neuronen}}

{r2{6 — 3 Neuronen mal 2 Eingaben}}

{h{Jedes Neuron gibt eine Ausgabe. Wie viele Neuronen hat die Schicht?}}

{H{Richtig! Jedes der 3 Neuronen gibt eine Ausgabe, also 3 Ausgaben insgesamt.}}