Backpropagation — Schuld rückwärts
Über diese App
Backpropagation an einem 2-2-2-Netz mit echten Zahlen in sechs Schritten: Vorwärtsrechnung, Verlust, δ am Ausgang und im Hidden Layer, Gradient je Gewicht, erst das Update senkt den Verlust — numerisch gegengeprüft.
Was Backpropagation tut
Backpropagation berechnet, wie stark der Fehler L eines neuronalen Netzes von jedem einzelnen Gewicht abhängt. Zuerst läuft die Eingabe vorwärts: Jedes Neuron bildet z = Σ w·a + b und gibt a = σ(z) weiter. Dann geht es rückwärts. Am Ausgang ist δ = ∂L/∂z die Abweichung mal die Steigung der Sigmoid. Ein Hidden-Neuron erhält Schuld von allen Ausgängen, jeweils über das Gewicht, mit dem es beigetragen hat (Kettenregel). Jedes Gewicht bekommt den Gradienten ∂L/∂w = δ · a. Backpropagation selbst ändert nichts; erst das Update w ← w − η · ∂L/∂w lässt das Netz lernen.
Was die App zeigt
Die App rechnet ein kleines Netz mit zwei Eingängen, zwei Hidden-Neuronen und zwei Ausgängen, also 8 Gewichten und 4 Biases, Sigmoid überall und Fehler L = ½ Σ (y − t)². Der Ablauf gliedert sich in sechs Stufen: Vorwärts, Fehler am Ausgang, δ am Ausgang, δ in der Hidden-Schicht, Gradient je Gewicht und Update. Der Füllstand jeder Kugel ist ihre Aktivierung, Liniendicke steht für den Betrag eines Gewichts. Die Tabelle „Werte“ prüft jeden Gradienten mit einer numerischen Ableitung (ε = 10⁻⁶) nach.
Selbst ausprobieren
Wähle eines der drei Trainingsbeispiele A, B oder C und gehe mit „Weiter“ durch die sechs Stufen. Klicke auf ein Gewicht, um seine Rechnung zu sehen. Achte darauf, dass sich in den Rückwärtsschritten noch kein Gewicht ändert. Stelle die Lernrate zwischen 0,05 und 3 ein und prüfe, ob der Fehler nach dem Update sinkt oder bei zu großem η steigt. Mit „×10 trainieren“ folgen mehrere Lernschritte. In Beispiel C heben sich die Signale beider Ausgänge in der Hidden-Schicht teilweise auf.
Häufige Fragen
- Was ist Backpropagation einfach erklärt?
- Backpropagation ist ein Verfahren, das für jedes Gewicht eines neuronalen Netzes ausrechnet, wie sich der Fehler ändert, wenn man dieses Gewicht ein wenig verändert. Es arbeitet sich dazu mit der Kettenregel vom Ausgang zurück zum Eingang. Die Ergebnisse, die Gradienten, nutzt danach der Gradientenabstieg, um die Gewichte anzupassen.
- Was bedeutet δ bei Backpropagation?
- δ ist die Ableitung des Fehlers nach der gewichteten Summe z eines Neurons, also ∂L/∂z. Am Ausgang ergibt es sich aus Abweichung mal Steigung der Aktivierungsfunktion. In versteckten Schichten wird es aus den δ der nächsten Schicht, gewichtet mit den Verbindungen, zurückgerechnet.
- Verteilt Backpropagation den Fehler gleichmäßig auf alle Gewichte?
- Nein. Jedes Gewicht bekommt einen eigenen Gradienten ∂L/∂w = δ · a, der von der Aktivierung an seiner Quelle und vom δ an seinem Ziel abhängt. Ein Gewicht mit kleiner Eingangsaktivierung erhält einen kleinen Gradienten, unabhängig davon, wie groß der Gesamtfehler ist.
- Was kann ich in dieser App ausprobieren?
- Du gehst Schritt für Schritt durch Vorwärts- und Rückwärtsrechnung, siehst jede Zahl und klickst Gewichte an, um ihre Rechnung zu sehen. Du stellst die Lernrate ein, trainierst mehrfach und vergleichst jeden Gradienten mit einer numerischen Probe.
Fach: Neuronale Netze
Mehr aus Neuronale Netze
- Agenten-Schleife
- Attention Visualizer
- Basin of Attraction
- Dein Beruf unter KI
- Die Temperatur-Schraube
- Diffusionsmodell — Bilder aus Rauschen (3D)
- Embedding Space Explorer (3D)
- Gradient Descent (3D)
Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps