Zum Inhalt
Alle Apps

Metrics Lab: Konfusionsmatrix & Kennzahlen

Über diese App

Schwelle eines Klassifikators verschieben und sehen, wie Fälle zwischen TP, FP, FN und TN wandern — und warum 99 % Accuracy bei seltenen Positiven nichts bedeuten muss.

Vier Zellen, viele Kennzahlen

Ein Klassifikator gibt jedem Fall einen Score, eine Schwelle t entscheidet über „positiv“ oder „negativ“. Vergleicht man das mit der Wahrheit, landet jeder Fall in einer von vier Zellen der Konfusionsmatrix: richtig positiv (TP), falsch positiv (FP), falsch negativ (FN), richtig negativ (TN). Accuracy = (TP + TN) / N, Precision = TP / (TP + FP), Recall = TP / (TP + FN), Spezifität = TN / (TN + FP), und F1 ist das harmonische Mittel aus Precision und Recall. Alle sind Verhältnisse derselben vier Zahlen, beantworten aber verschiedene Fragen.

Was die App zeigt

Jeder Punkt ist ein Fall, über der Achse die tatsächlich Positiven, darunter die Negativen, sortiert nach Score. Gefüllte Punkte sind als positiv vorhergesagt, Ringe als negativ. Daneben stehen die Konfusionsmatrix, Balken für Accuracy, Precision, Recall, Spezifität und F1 sowie eine Precision-Recall-Kurve über alle Schwellen. Beim Zeigen auf eine Kennzahl werden Zähler und Nenner in der Grafik markiert. Optional lassen sich Kosten je FP und FN festlegen.

Selbst ausprobieren

Wähle „Seltene Positive (1 %)“ und schalte „Alles als negativ vorhersagen“ ein: Die Accuracy liegt bei 99 %, der Recall bei 0 %. Verschiebe dann die Schwelle und beobachte, wie mehr Recall Precision kostet. Vergleiche die Szenarien „Spamfilter (FP teuer)“ und „Krebs-Screening (FN teuer)“ und setze die Schwelle aufs Kostenminimum.

Häufige Fragen

Was ist der Unterschied zwischen Precision und Recall?
Precision gibt an, welcher Anteil der als positiv vorhergesagten Fälle wirklich positiv ist; sie sinkt mit jedem Fehlalarm. Recall gibt an, welchen Anteil aller tatsächlich positiven Fälle das Modell findet; er sinkt mit jedem übersehenen Fall. Wer die Schwelle senkt, gewinnt meist Recall und verliert Precision.
Warum ist Accuracy bei unausgewogenen Daten irreführend?
Ist nur 1 % der Fälle positiv, erreicht ein Modell, das immer „negativ“ sagt, 99 % Accuracy, findet aber keinen einzigen positiven Fall. Bei seltenen Klassen sind deshalb Recall, Precision, F1 oder die Precision-Recall-Kurve aussagekräftiger.
Was ist der F1-Score?
Der F1-Score ist das harmonische Mittel aus Precision und Recall: F1 = 2·P·R / (P + R). Er ist nur hoch, wenn beide Werte hoch sind. Richtig negative Fälle gehen nicht in ihn ein.
Was kann ich in der App ausprobieren?
Du wählst ein Szenario, stellst Prävalenz, Trennschärfe, Population und Schwelle ein und siehst, wie sich Konfusionsmatrix, Kennzahlen und der Punkt auf der Precision-Recall-Kurve ändern. Mit Fehlerkosten für FP und FN findest du die kostengünstigste Schwelle.

Fach: Machine Learning

Mehr aus Machine Learning

Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps