p-Hacking & multiples Testen
Über diese App
Viele Tests ohne echten Effekt liefern rein zufällig „signifikante" Treffer. p-Werte-Verteilung, Familienfehlerrate FWER = 1−(1−α)^m, Garten der verzweigenden Pfade und die Bonferroni-Korrektur — Vorsicht bei Data Dredging und vielen KPIs.
Worum es geht
Unter der Nullhypothese, also ohne echten Effekt, ist der p-Wert eines Tests gleichverteilt auf [0, 1]. Ein Anteil α aller Tests fällt deshalb rein zufällig unter die Signifikanzschwelle. Wer m unabhängige Tests durchführt, erhält mit der Wahrscheinlichkeit FWER = 1 − (1 − α)ᵐ mindestens einen Fehlalarm; bei m = 20 und α = 0,05 sind das rund 64 %. p-Hacking heißt, so lange Varianten, Subgruppen oder Auswertungen auszuprobieren, bis etwas signifikant wird, und nur das zu berichten. Die Bonferroni-Korrektur testet jede Hypothese gegen α/m und hält so die Familienfehlerrate unter α.
Was die App zeigt
Die App simuliert m Tests und zeigt jeden p-Wert als Punkt, die „signifikanten“ unterhalb der Schwelle farbig hervorgehoben. Ein Histogramm der p-Werte ist im Szenario ohne Effekt annähernd flach, mit echtem Effekt häufen sich kleine p-Werte. Ein Wertepanel nennt die Zahl der Tests, die Schwelle, die gefundenen Treffer, die erwartete Zahl α·m, die Familienfehlerrate, die Bonferroni-Schwelle α/m und die Treffer nach Korrektur. Der Knopf „Weiter suchen“ spielt den Garten der verzweigenden Pfade durch und zählt die Versuche bis zum ersten Treffer.
Selbst ausprobieren
Bleib im Szenario „Kein Effekt“ und simuliere mehrmals neu: Bei 20 Tests findest du meist ein bis zwei „signifikante“ Ergebnisse, obwohl es nichts zu finden gibt. Erhöhe m und sieh, wie die Familienfehlerrate gegen 1 läuft. Schalte die Bonferroni-Korrektur ein; die Fehlalarme verschwinden weitgehend. Wechsle dann zum Szenario mit echtem Effekt und stelle die Effektstärke d ein: Jetzt finden sich Treffer schnell und zu Recht, und du siehst, was Bonferroni an Teststärke kostet.
Häufige Fragen
- Was ist p-Hacking?
- p-Hacking bezeichnet das Ausprobieren vieler Analysevarianten, Subgruppen, Messgrößen oder Ausschlusskriterien, bis ein Ergebnis die Signifikanzschwelle unterschreitet, und das selektive Berichten dieses Ergebnisses. Dadurch steigt die Rate falsch-positiver Befunde weit über das nominelle α. Gegenmittel sind vorab festgelegte Hypothesen (Präregistrierung) und die Korrektur für multiples Testen.
- Was ist die Familienfehlerrate (FWER)?
- Die Familienfehlerrate ist die Wahrscheinlichkeit, in einer Gruppe von Tests mindestens einen Fehler 1. Art zu begehen. Bei m unabhängigen Tests zum Niveau α beträgt sie 1 − (1 − α)ᵐ. Schon bei 20 Tests mit α = 0,05 liegt sie bei etwa 64 %.
- Wie funktioniert die Bonferroni-Korrektur?
- Bei der Bonferroni-Korrektur wird jede einzelne Hypothese gegen die strengere Schwelle α/m statt α getestet. Dadurch bleibt die Familienfehlerrate höchstens bei α. Der Preis ist eine geringere Teststärke, echte Effekte werden also leichter übersehen.
- Was kann ich in der p-Hacking-App einstellen?
- Du wählst die Anzahl der Tests m, das Signifikanzniveau α und das Szenario (kein Effekt oder echter Effekt mit Effektstärke d), schaltest die Bonferroni-Korrektur ein und simulierst neu. „Weiter suchen“ zeigt, wie schnell man bei genügend Versuchen einen Zufallstreffer findet.
Fach: Statistik
Mehr aus Statistik
- Anscombe-Quartett
- Bias-Varianz / Overfitting
- Gesetz der großen Zahlen
- Hypothesentest & p-Wert
- Konfidenzintervall
- Lagemaße & Streuung
- Lagemaße & Streuung 2.0
- Logistische Regression
Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps