ROC & Trennschärfe
Über diese App
Zwei Score-Verteilungen (Ausfälle vs. Nicht-Ausfälle) und die live daraus entstehende ROC-Treppenkurve. Trennschärfe, Ausfallquote, Stichprobe und Cut-off einstellbar — AUC und Gini reagieren sofort.
Trennschärfe eines Ratings
Ein Rating- oder Scoringverfahren ist trennscharf, wenn spätere Ausfälle deutlich schlechtere Scores bekommen als Kreditnehmer, die nicht ausfallen. Für jeden Cut-off ergibt sich eine Trefferquote (TPR, Anteil erkannter Ausfälle) und eine Fehlalarmquote (FPR, Anteil fälschlich als riskant eingestufter Nicht-Ausfälle). Die ROC-Kurve trägt TPR gegen FPR über alle Cut-offs ab. Die Fläche darunter, die AUC, ist die Wahrscheinlichkeit, dass ein zufälliger Ausfall schlechter bewertet ist als ein zufälliger Nicht-Ausfall: 0,5 entspricht dem Münzwurf, 1 der perfekten Trennung. In Banken ist der Gini-Koeffizient (Accuracy Ratio) üblich: Gini = 2 · AUC − 1.
Was die App zeigt
Links liegen die Score-Verteilungen der Nicht-Ausfälle, N(55, 15), und der Ausfälle, N(55 − d·15, 15), mit einer verschiebbaren Cut-off-Linie; Treffer und Fehlalarme sind als Flächen markiert. Rechts entsteht aus einer gezogenen Stichprobe die ROC-Treppe, dazu die Diagonale für den Zufall und die Ecke für das perfekte Modell. Ein Punkt markiert den aktuellen Cut-off. Das Werte-Panel nennt TPR, FPR, AUC und Gini; AUC und Gini werden per Mann-Whitney aus der Stichprobe geschätzt.
Selbst ausprobieren
Zieh die Trennschärfe d von 0 auf 3: Die Verteilungen rücken auseinander, die ROC-Kurve wölbt sich zur linken oberen Ecke, der Gini steigt. Verschiebe den Cut-off direkt in der linken Karte und verfolge, wie der Punkt auf der Kurve wandert und mehr Treffer immer mehr Fehlalarme kosten. Stell eine kleine Stichprobe und eine niedrige Ausfallquote ein und klicke mehrmals „Neu ziehen“: Der geschätzte Gini schwankt dann spürbar, obwohl das zugrunde liegende Modell gleich bleibt.
Häufige Fragen
- Was ist der Unterschied zwischen AUC und Gini-Koeffizient?
- Beide messen dieselbe Trennschärfe, nur auf verschiedenen Skalen. Die AUC ist die Fläche unter der ROC-Kurve und liegt für sinnvolle Modelle zwischen 0,5 und 1. Der Gini-Koeffizient, im Kreditrisiko auch Accuracy Ratio genannt, ist 2 · AUC − 1 und liegt damit zwischen 0 (Zufall) und 1 (perfekte Trennung).
- Wie liest man eine ROC-Kurve?
- Jeder Punkt der ROC-Kurve gehört zu einem Cut-off und zeigt, welcher Anteil der Ausfälle erkannt wird (y-Achse) und welcher Anteil der guten Kreditnehmer dabei fälschlich abgelehnt wird (x-Achse). Je weiter die Kurve nach links oben gewölbt ist, desto besser trennt das Modell. Die Diagonale entspricht einem Modell ohne Trennschärfe.
- Warum schwankt der Gini bei kleinen Stichproben?
- Der Gini wird aus den tatsächlich beobachteten Ausfällen und Nicht-Ausfällen geschätzt. Bei wenigen Ausfällen hängt das Ergebnis stark davon ab, welche Fälle zufällig in der Stichprobe gelandet sind. Deshalb betrachtet die Validierung von Ratingverfahren den Gini über mehrere Jahre und mit Konfidenzintervallen.
- Was kann ich in der ROC-App einstellen?
- Du stellst Trennschärfe, Ausfallquote, Stichprobengröße und Cut-off ein und kannst mit „Neu ziehen“ eine neue Stichprobe würfeln. Die App zeigt Score-Verteilungen, ROC-Treppe, Trefferquote, Fehlalarmquote, AUC und Gini.
Fach: Financial Risk & Analytics
Mehr aus Financial Risk & Analytics
- Asset-Korrelation (3D)
- PD-Kalibrierung (Reliability)
- Risikotragfähigkeit — Verlustverteilung
- ROC-Modellvergleich
Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps