Zum Inhalt
Alle Apps

Modellvalidierung: Training, Validierung, Test

Über diese App

Aufteilen, Validierungskurve, k-fache Kreuzvalidierung und einmaliger Test an einer Polynom-Regression — dazu Datenleck und Tuning auf dem Testsatz als Gegenbeispiele.

Drei Datensätze, drei Rollen

Trainingsdaten passen die Parameter eines Modells an. Validierungsdaten oder k-fache Kreuzvalidierung wählen Hyperparameter wie die Modellkomplexität. Der Testsatz wird ganz am Ende genau einmal benutzt und liefert dann eine unverzerrte Schätzung des Fehlers auf neuen Daten. Der Trainingsfehler ist kein Qualitätsmaß, denn er fällt mit wachsender Komplexität immer weiter. Der Validierungsfehler bildet dagegen eine U-Form: links Unteranpassung, rechts Überanpassung, dazwischen das beste Modell. Wer den Testsatz mehrfach zum Auswählen nutzt oder Informationen über die Splits durchsickern lässt, bekommt zu optimistische Zahlen.

Was die App zeigt

Eine Polynom-Regression in sieben Schritten: Hold-out-Aufteilung, Anpassen auf Training, Validierungskurve, k-fache Kreuzvalidierung, finaler Test, Datenleck und Tuning auf dem Test. Drei Karten zeigen Daten und Aufteilung, den Modell-Fit mit dem wahren Zusammenhang sowie den Fehler (MSE) über den Polynomgrad mit Rauschboden σ². Ein Abzeichen zeigt, ob der Testsatz noch versiegelt ist und wie oft er geöffnet wurde.

Selbst ausprobieren

Erhöhe in Schritt 2 den Grad bis 15 und sieh, wie das Polynom fast jeden Trainingspunkt trifft. Vergleiche in Schritt 3 die Validierungskurve und setze den Grad auf d*. Ändere in Schritt 4 die Zahl der Folds K. Schalte in Schritt 6 das Datenleck ein und vergleiche Test und frische Daten. In Schritt 7 testest du 50 Konfigurationen direkt auf dem Testsatz und siehst den Einbruch auf frischen Daten.

Häufige Fragen

Was ist der Unterschied zwischen Validierungs- und Testdaten?
Validierungsdaten dienen dazu, zwischen Modellvarianten oder Hyperparametern zu wählen. Testdaten werden erst nach allen Entscheidungen einmal benutzt, um die Leistung des fertigen Modells unverzerrt zu schätzen. Wird der Testsatz zum Auswählen verwendet, ist seine Schätzung nicht mehr unverzerrt.
Wie funktioniert k-fache Kreuzvalidierung?
Die Daten werden in K gleich große Teile (Folds) zerlegt. Nacheinander dient jeder Fold einmal als Validierung, während die übrigen K − 1 zum Training genutzt werden. Mittelwert und Streuung der K Fehler sind eine stabilere Grundlage für die Modellwahl als ein einzelner Split.
Was ist Data Leakage beim maschinellen Lernen?
Data Leakage bedeutet, dass Informationen aus Validierungs- oder Testdaten in das Training gelangen. Typische Ursachen sind Duplikate über die Splits, Normalisieren oder Merkmalsauswahl auf allen Daten vor dem Aufteilen und bei Zeitreihen Zukunftsdaten im Training. Die Folge sind zu gute Fehlerschätzungen.
Was kann ich in der App ausprobieren?
Du gehst sieben Schritte durch, stellst Datenpunkte, Anteile für Validierung und Test, die Zahl der Folds und den Polynomgrad ein und ziehst neue Daten oder teilst neu auf. Die App zeigt Trainings-, Validierungs- und Kreuzvalidierungsfehler, den finalen Test sowie die Wirkung von Datenleck und Tuning auf dem Testsatz.

Fach: Machine Learning

Mehr aus Machine Learning

Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps