Zum Inhalt
Alle Apps

Logistische Regression

Über diese App

Zwei Merkmale, linearer Score, Sigmoid-Fläche in 3D: Die Schwellenebene schneidet sie in einer Geraden, Log-Loss je Punkt, Gradientenabstieg Schritt für Schritt, XOR als Grenze des Modells.

Worum es geht

Die logistische Regression ist ein Klassifikationsverfahren für zwei Klassen. Aus den Merkmalen x₁ und x₂ bildet sie einen linearen Score z = w₁x₁ + w₂x₂ + b. Die Sigmoid-Funktion p = σ(z) = 1/(1 + e^−z) macht daraus eine Wahrscheinlichkeit für Klasse 1. Die Entscheidungsgrenze ist dort, wo p die Schwelle p* erreicht; im Merkmalsraum ist sie eine Gerade. Trainiert wird mit dem Log-Loss L = −[y ln p + (1 − y) ln(1 − p)], meist per Gradientenabstieg. Klassen, die sich nicht durch eine Gerade trennen lassen, wie bei XOR, kann das Modell nicht trennen.

Was die App zeigt

Über der Merkmalsebene liegt die Sigmoid-Fläche in 3D. Punkte der Klasse 0 liegen am Boden, Punkte der Klasse 1 auf Höhe p = 1. Eine Schwellenebene bei p* schneidet die Fläche in der Entscheidungsgrenze. Auf Wunsch zeigen senkrechte Striche den Verlust je Punkt. Ein Trainingspanel führt Gradientenschritte einzeln oder fortlaufend aus und nennt Schrittzahl, mittleren Log-Loss und Gradientenbetrag; ein Modellpanel zeigt w₁, w₂, b und die Genauigkeit. Die Ansicht lässt sich schräg, von oben oder im Profil betrachten.

Selbst ausprobieren

Lade den trennbaren Datensatz, setze die Gewichte auf 0 und drücke mehrmals „Schritt“: Die Fläche richtet sich auf, die Grenze dreht sich zwischen die Klassen, und der Log-Loss sinkt. Erhöhe die Lernrate η und vergleiche, wie schnell das Training konvergiert. Setze im Datensatz „Ausreißer“ einzelne Punkte um und beobachte, wie stark sie die Grenze ziehen. Verschiebe die Schwelle p*, um zu sehen, dass sich nur die Lage der Grenze ändert. Bei XOR findet das Modell keine passende Gerade.

Häufige Fragen

Was ist logistische Regression?
Die logistische Regression schätzt die Wahrscheinlichkeit, dass ein Datenpunkt zu einer von zwei Klassen gehört. Sie kombiniert die Merkmale linear zu einem Score und wandelt ihn mit der Sigmoid-Funktion in eine Wahrscheinlichkeit zwischen 0 und 1 um. Trotz des Namens ist sie ein Klassifikationsverfahren.
Was ist der Log-Loss?
Der Log-Loss oder die Kreuzentropie bewertet vorhergesagte Wahrscheinlichkeiten: L = −[y ln p + (1 − y) ln(1 − p)]. Liegt das Modell sicher und richtig, ist der Verlust nahe 0; liegt es sicher und falsch, wird er sehr groß. Die logistische Regression wählt die Gewichte, die den mittleren Log-Loss minimieren.
Warum kann logistische Regression XOR nicht lösen?
Die Entscheidungsgrenze der logistischen Regression ist im Merkmalsraum eine Gerade bzw. Hyperebene. Bei XOR liegen die Klassen über Kreuz, keine Gerade trennt sie. Erst zusätzliche Merkmale, etwa das Produkt x₁·x₂, oder ein nichtlineares Modell wie ein neuronales Netz lösen das Problem.
Was kann ich in der App ausprobieren?
Du setzt Punkte beider Klassen, wählst Datensätze (trennbar, überlappend, mit Ausreißer, XOR), stellst Schwelle p* und Lernrate η ein und trainierst schrittweise oder automatisch. Die App zeigt Sigmoid-Fläche, Entscheidungsgrenze, Verlust je Punkt, Gewichte und Genauigkeit.

Fach: Statistik

Mehr aus Statistik

Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps