Logistische Regression
Über diese App
Zwei Merkmale, linearer Score, Sigmoid-Fläche in 3D: Die Schwellenebene schneidet sie in einer Geraden, Log-Loss je Punkt, Gradientenabstieg Schritt für Schritt, XOR als Grenze des Modells.
Worum es geht
Die logistische Regression ist ein Klassifikationsverfahren für zwei Klassen. Aus den Merkmalen x₁ und x₂ bildet sie einen linearen Score z = w₁x₁ + w₂x₂ + b. Die Sigmoid-Funktion p = σ(z) = 1/(1 + e^−z) macht daraus eine Wahrscheinlichkeit für Klasse 1. Die Entscheidungsgrenze ist dort, wo p die Schwelle p* erreicht; im Merkmalsraum ist sie eine Gerade. Trainiert wird mit dem Log-Loss L = −[y ln p + (1 − y) ln(1 − p)], meist per Gradientenabstieg. Klassen, die sich nicht durch eine Gerade trennen lassen, wie bei XOR, kann das Modell nicht trennen.
Was die App zeigt
Über der Merkmalsebene liegt die Sigmoid-Fläche in 3D. Punkte der Klasse 0 liegen am Boden, Punkte der Klasse 1 auf Höhe p = 1. Eine Schwellenebene bei p* schneidet die Fläche in der Entscheidungsgrenze. Auf Wunsch zeigen senkrechte Striche den Verlust je Punkt. Ein Trainingspanel führt Gradientenschritte einzeln oder fortlaufend aus und nennt Schrittzahl, mittleren Log-Loss und Gradientenbetrag; ein Modellpanel zeigt w₁, w₂, b und die Genauigkeit. Die Ansicht lässt sich schräg, von oben oder im Profil betrachten.
Selbst ausprobieren
Lade den trennbaren Datensatz, setze die Gewichte auf 0 und drücke mehrmals „Schritt“: Die Fläche richtet sich auf, die Grenze dreht sich zwischen die Klassen, und der Log-Loss sinkt. Erhöhe die Lernrate η und vergleiche, wie schnell das Training konvergiert. Setze im Datensatz „Ausreißer“ einzelne Punkte um und beobachte, wie stark sie die Grenze ziehen. Verschiebe die Schwelle p*, um zu sehen, dass sich nur die Lage der Grenze ändert. Bei XOR findet das Modell keine passende Gerade.
Häufige Fragen
- Was ist logistische Regression?
- Die logistische Regression schätzt die Wahrscheinlichkeit, dass ein Datenpunkt zu einer von zwei Klassen gehört. Sie kombiniert die Merkmale linear zu einem Score und wandelt ihn mit der Sigmoid-Funktion in eine Wahrscheinlichkeit zwischen 0 und 1 um. Trotz des Namens ist sie ein Klassifikationsverfahren.
- Was ist der Log-Loss?
- Der Log-Loss oder die Kreuzentropie bewertet vorhergesagte Wahrscheinlichkeiten: L = −[y ln p + (1 − y) ln(1 − p)]. Liegt das Modell sicher und richtig, ist der Verlust nahe 0; liegt es sicher und falsch, wird er sehr groß. Die logistische Regression wählt die Gewichte, die den mittleren Log-Loss minimieren.
- Warum kann logistische Regression XOR nicht lösen?
- Die Entscheidungsgrenze der logistischen Regression ist im Merkmalsraum eine Gerade bzw. Hyperebene. Bei XOR liegen die Klassen über Kreuz, keine Gerade trennt sie. Erst zusätzliche Merkmale, etwa das Produkt x₁·x₂, oder ein nichtlineares Modell wie ein neuronales Netz lösen das Problem.
- Was kann ich in der App ausprobieren?
- Du setzt Punkte beider Klassen, wählst Datensätze (trennbar, überlappend, mit Ausreißer, XOR), stellst Schwelle p* und Lernrate η ein und trainierst schrittweise oder automatisch. Die App zeigt Sigmoid-Fläche, Entscheidungsgrenze, Verlust je Punkt, Gewichte und Genauigkeit.
Fach: Statistik
Mehr aus Statistik
- Anscombe-Quartett
- Bias-Varianz / Overfitting
- Boxplot-Werkstatt
- Geometrisches Mittel
- Gesetz der großen Zahlen
- Histogramm-Werkstatt
- Hypothesentest & p-Wert
- Konfidenzintervall
Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps