ROC-Kurve & AUC
Über diese App
Zwei Score-Verteilungen, die Schwelle wandert: Der Sweep zeichnet die ROC-Kurve, AUC als Anteil richtig sortierter Paare, ROC bleibt bei jeder Prävalenz gleich, Vergleich zweier Modelle mit kreuzenden Kurven.
Was die ROC-Kurve misst
Ein Klassifikator gibt jedem Fall einen Score, eine Schwelle t entscheidet, was als positiv gilt. Jede Schwelle liefert einen Punkt aus Falsch-positiv-Rate FPR = FP / (FP + TN) und Richtig-positiv-Rate TPR = TP / (TP + FN). Fährt man die Schwelle über alle Werte, entsteht die ROC-Kurve. Die Diagonale entspricht Raten. Die Fläche unter der Kurve, die AUC, ist gleich der Wahrscheinlichkeit, dass ein zufälliges Positives einen höheren Score hat als ein zufälliges Negatives. Weil TPR und FPR jeweils innerhalb einer Klasse gerechnet werden, hängt die ROC-Kurve nicht von der Prävalenz ab.
Was die App zeigt
Links die Scores der Negativen und Positiven als Glockenkurven und als einzelne Punkte, dazu eine verschiebbare Schwelle; rechts die ROC-Kurve mit der Diagonale. Eine Konfusionsmatrix und Kennzahlen wie Sensitivität, Spezifität, Präzision und Genauigkeit folgen der Schwelle. Ein Paar-Modus zieht zufällig ein Positives und ein Negatives und markiert, ob sie richtig geordnet sind. Optional erscheint Modell B mit eigener Trennschärfe und Streuung.
Selbst ausprobieren
Lass die Kurve zeichnen und verfolge, wie jedes Positive sie um 1/P hebt und jedes Negative sie um 1/N nach rechts schiebt. Ziehe 50 Paare und vergleiche den Anteil richtig geordneter Paare mit der AUC. Senke die Prävalenz: Die ROC-Kurve bleibt stehen, die Präzision fällt. Blende Modell B ein und suche Einstellungen, bei denen sich die Kurven kreuzen.
Häufige Fragen
- Was ist eine ROC-Kurve?
- Eine ROC-Kurve trägt für alle möglichen Schwellen eines Klassifikators die Richtig-positiv-Rate gegen die Falsch-positiv-Rate auf. Sie zeigt, wie viele Fehlalarme man für einen bestimmten Anteil erkannter Positiver in Kauf nehmen muss. Je weiter die Kurve nach links oben reicht, desto besser trennt das Modell.
- Was bedeutet der AUC-Wert?
- Die AUC ist die Fläche unter der ROC-Kurve und liegt zwischen 0 und 1. Sie entspricht der Wahrscheinlichkeit, dass ein zufällig gewähltes Positives einen höheren Score bekommt als ein zufällig gewähltes Negatives. 0,5 entspricht Raten, 1 einer perfekten Sortierung.
- Warum ändert sich die ROC-Kurve nicht mit der Prävalenz?
- TPR wird nur unter den Positiven, FPR nur unter den Negativen berechnet. Ändert sich das Verhältnis der Klassen, bleiben beide Raten bei gleicher Schwelle gleich. Die Präzision mischt dagegen beide Klassen und sinkt, wenn Positive seltener werden.
- Was kann ich in der App ausprobieren?
- Du stellst Trennschärfe, Schwelle, Prävalenz und Fallzahl ein, lässt die ROC-Kurve zeichnen und ziehst einzelne oder 50 Paare, um die AUC als Anteil richtig geordneter Paare zu schätzen. Ein zweites Modell lässt sich einblenden, um kreuzende ROC-Kurven zu vergleichen.
Fach: Machine Learning
Mehr aus Machine Learning
- AdaBoost
- Anatomie eines Prompts
- Datenschutz-Ampel
- Decision Tree (Entscheidungsbaum)
- Ensemble: Bagging vs. Boosting
- Gesichter finden: Masken gegen Lernen aus Beispielen
- k-Means
- k-Nächste-Nachbarn (kNN)
Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps