Zum Inhalt
Anmelden
Alle Apps

Backpropagation: aus einem Fehler lernen

Über diese App

Eine ganze Lernrunde an einem echten Netz (64 → 8 → 8 → 10, 682 Parameter): Es hält eine schiefe 3 für eine 8. Fehler, Verlust als ein Quadrat, Steigung je Gewicht, Schuld Schicht für Schicht rückwärts, Kugel rollt über eine echte Verlustfläche bergab, danach erkennt es die 3. Selbst malen, Lernrate ändern, tausendmal üben.

Mit Erklärmodus: Ein KI-Tutor führt dich durch die App, zeigt in der Szene, worauf es ankommt, und beantwortet deine Fragen.

Was Backpropagation berechnet

Ein neuronales Netz liegt falsch, und der Fehler wird in eine einzige Zahl gefasst, den Verlust L = Σ(ŷᵢ − yᵢ)². Backpropagation beantwortet daraufhin für jedes Gewicht, wie stark L steigt, wenn genau dieses Gewicht ein wenig wächst: die partielle Ableitung ∂L/∂w. Dazu läuft die Kettenregel vom Ausgang zurück: δˡ = (Wˡ⁺¹)ᵀ δˡ⁺¹ ⊙ σ′(zˡ), und jedes Gewicht erhält ∂L/∂w = δ (am Ziel) mal a (an der Quelle). Backpropagation selbst ändert noch nichts. Erst der Gradientenabstieg w ← w − η·∇L verschiebt alle Gewichte gleichzeitig ein Stück bergab.

Was die App zeigt

Die App rechnet mit einem echten kleinen Netz: 64 Eingänge für ein 8×8-Pixelbild, zwei versteckte Schichten mit je 8 Neuronen, 10 Ausgänge, zusammen 682 Parameter. Es erkennt alle zehn sauberen Ziffern, hält eine schief geschriebene 3 aber für eine 8 (0,92 gegen 0,14). In sieben Stationen siehst du den Fehler je Ziffer, die Fehlerquadrate, die zu einem Verlust-Quadrat mit L = 1,59 verschmelzen, echte Schnitte L(w) für einzelne Gewichte mit Tangente, die Schuld, die sich Schicht für Schicht rückwärts färbt, und eine echte Verlustfläche, über die eine Kugel bergab rollt. Danach erkennt das Netz die 3.

Selbst ausprobieren

Gehe mit „Weiter“ durch die sieben Stationen und starte mit „Noch eine Runde“ den nächsten Lernschritt. Male eigene Ziffern direkt ins Pixelbild, wähle die richtige Antwort und ändere die Lernrate η zwischen 0,05 und 3. Achte in der Station „Schuld rückwärts“ darauf, wie viele Gewichte gar keine Schuld bekommen. Mit „1 000 Lernschritte“ übt das Netz auf 60 verrauschten Ziffern, so wie echte Netze millionenfach üben. Die Lupe erklärt jedes Teil in drei Stufen.

Häufige Fragen

Was ist Backpropagation einfach erklärt?
Backpropagation ist das Rechenverfahren, mit dem ein neuronales Netz herausfindet, welches seiner Gewichte wie stark an einem Fehler beteiligt war. Es wendet die Kettenregel vom Ausgang rückwärts Schicht für Schicht an und liefert für jedes Gewicht eine Steigung ∂L/∂w. Mit diesen Steigungen verschiebt der Gradientenabstieg danach die Gewichte so, dass der Fehler kleiner wird.
Wird der Fehler bei Backpropagation gleichmäßig verteilt?
Nein. Jedes Gewicht erhält den Anteil δ · a, also die Schuld am Zielneuron mal das Signal an seiner Quelle. Gewichte, deren Quelle kein Signal liefert, etwa ein dunkles Pixel mit dem Wert 0, bekommen genau null Schuld, egal wie groß der Gesamtfehler ist. Die Vorzeichen unterscheiden sich ebenfalls: Manche Gewichte müssen wachsen, andere schrumpfen.
Was ist der Unterschied zwischen Backpropagation und Gradientenabstieg?
Backpropagation berechnet den Gradienten, also für jedes Gewicht die Richtung und Stärke, in der der Verlust steigt. Der Gradientenabstieg nutzt diesen Gradienten und macht den eigentlichen Lernschritt w ← w − η·∇L. Die Lernrate η bestimmt, wie groß dieser Schritt ist. Ist sie zu groß, kann der Verlust wieder steigen.
Was kann ich in dieser App ausprobieren?
Du verfolgst eine ganze Lernrunde an einem echten Netz mit 682 Parametern, malst eigene Ziffern ins Pixelbild, wählst die richtige Antwort, stellst die Lernrate ein und lässt das Netz tausend Schritte üben. Alle Zahlen im Panel „Werte“ werden live aus dem Netz berechnet.

Fach: Neuronale Netze

Mehr aus Neuronale Netze

Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps