Training Sandbox
Über diese App
Trainingsdynamik an den Lernkurven ablesen: Lernrate, Batchgröße, Epochen, Train- und Validierungsverlust, Early Stopping am Val-Minimum, L2, Dropout, Augmentation und mehr Daten gegen Überanpassung.
Lernkurven lesen
Beim Training eines neuronalen Netzes misst der Train-Loss, wie gut es die Punkte trifft, aus denen es lernt. Der Validierungsverlust (Val-Loss) misst dasselbe auf Punkten, die es nie gesehen hat; nur er sagt etwas über neue Daten. Fallen beide gemeinsam, lernt das Netz die Struktur. Sinkt der Train-Loss weiter, während der Val-Loss wieder steigt, lernt es Rauschen auswendig: Überanpassung (Overfitting). Bleiben beide hoch, ist das Netz unterangepasst, etwa weil es zu klein ist oder die Lernrate zu niedrig.
Was die App zeigt
Ein kleines Netz mit tanh-Schichten und Sigmoid-Ausgang lernt live, zwei Klassen in einem von drei Datensätzen zu trennen: Monde, Kreise oder Spirale. Trainiert wird mit Kreuzentropie und SGD mit Momentum 0,9. Ein Diagramm zeigt Train-Loss, Val-Loss und den verrauschten Loss je Mini-Batch, daneben die Entscheidungsgrenze mit Trainings- und Validierungspunkten. Die App benennt den Zustand, etwa „Überanpassung“, „Unteranpassung“ oder „Divergiert“, und markiert das Val-Minimum. Frühere Läufe bleiben als Vergleichskurven stehen.
Selbst ausprobieren
Wähle ein großes Netz und wenige Trainingspunkte: Der Val-Loss steigt nach einiger Zeit wieder an. Schalte dann Early Stopping mit Geduld 25 Epochen ein oder erhöhe die Zahl der Punkte zwischen 20 und 600. Probiere L2-Regularisierung, Dropout und Augmentation und beobachte, wie sich die Lücke zwischen Val- und Train-Loss schließt. Eine zu große Lernrate lässt den Loss springen, eine zu kleine bewegt kaum etwas. Mini-Batch 1 macht jedes Update zum verrauschten Zufallsschritt.
Häufige Fragen
- Was ist Overfitting bei neuronalen Netzen?
- Overfitting oder Überanpassung heißt, dass ein Modell die Trainingsdaten samt ihrem Rauschen auswendig lernt. Der Fehler auf den Trainingsdaten sinkt weiter, auf neuen Daten steigt er wieder. Typische Ursachen sind ein im Verhältnis zur Datenmenge zu großes Modell und zu langes Training.
- Was ist Early Stopping?
- Early Stopping beobachtet während des Trainings den Fehler auf einem Validierungsdatensatz. Verbessert er sich über eine festgelegte Zahl von Epochen nicht mehr, wird das Training beendet. Behalten werden die Gewichte vom Zeitpunkt des geringsten Validierungsfehlers.
- Wie wählt man die richtige Lernrate?
- Ist die Lernrate zu klein, sinkt der Loss kaum. Ist sie zu groß, schießen die Schritte über das Minimum hinaus, und der Loss springt oder divergiert. Man probiert meist Werte über mehrere Zehnerpotenzen aus und liest das Verhalten an der Lernkurve ab.
- Was kann ich in dieser App ausprobieren?
- Du stellst Lernrate, Mini-Batch-Größe, Epochen, Datenmenge, Netzgröße, L2, Dropout und Augmentation ein und siehst Train- und Val-Loss live. Du springst zum Val-Minimum zurück und vergleichst mehrere Läufe nebeneinander.
Fach: Neuronale Netze
Mehr aus Neuronale Netze
- Agenten-Schleife
- Attention Visualizer
- Backpropagation — Schuld rückwärts
- Basin of Attraction
- Dein Beruf unter KI
- Die Temperatur-Schraube
- Diffusionsmodell — Bilder aus Rauschen (3D)
- Embedding Space Explorer (3D)
Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps