Zum Inhalt
Alle Apps

Support Vector Machine (SVM)

Über diese App

Maximaler Rand und Stützvektoren, exakt per SMO: Punkte ohne Ring verschieben die Grenze nicht, Soft-Margin C, Schlupf ξ, Kernel linear, Lift (Paraboloid in 3D) und RBF.

Die Idee der SVM

Eine Support Vector Machine trennt zwei Klassen mit der Grenze, die den größten Rand hat: die breiteste leere Straße zwischen den Klassen. Formal minimiert sie ½‖w‖² + C·Σξᵢ unter yᵢ(w·xᵢ + b) ≥ 1 − ξᵢ; die Randbreite ist 2/‖w‖. Die Punkte am Straßenrand oder in der Straße sind die Stützvektoren mit αᵢ > 0, und nur sie bestimmen w = Σ αᵢyᵢxᵢ. Der Parameter C regelt, wie teuer Schlupf ξ ist. Mit dem Kernel-Trick ersetzt man Skalarprodukte durch Kernelwerte, etwa k(x,x′) = exp(−γ‖x−x′‖²), und erhält gekrümmte Grenzen.

Was die App zeigt

Ein Merkmalsraum mit Grenze, gestrichelten Randlinien (f = ±1) und Ringen um die Stützvektoren; der Schlupf ξ lässt sich einblenden. Eine 3D-Ansicht zeigt die Entscheidungsfunktion f(x) als Höhe oder, beim Kernel „Lift“, die Hebung φ(x) = (x₁, x₂, ‖x‖²) auf ein Paraboloid, wo eine Ebene den Kreis vom Ring trennt. Kennzahlen nennen Randbreite, ‖w‖, Zahl der Stützvektoren, Σξ, Trainingsfehler und die SMO-Schritte.

Selbst ausprobieren

Ziehe einen Punkt ohne Ring: Die Grenze bleibt stehen. Ziehe einen Stützvektor: Sie folgt. Senke C bei „Überlappend“ und sieh die Straße breiter und toleranter werden. Wechsle bei „Kreis im Ring“ vom linearen Kernel zu „Lift ‖x‖²“ und dann zu RBF. Achte beim RBF-Kernel darauf, wie großes γ die Grenze eng um einzelne Punkte legt.

Häufige Fragen

Was sind Stützvektoren bei einer SVM?
Stützvektoren sind die Trainingspunkte, die am Rand der Trennstraße liegen oder ihn verletzen. Nur sie haben ein Dualgewicht α > 0 und bestimmen damit die Lage der Grenze. Alle anderen Punkte könnte man verschieben oder entfernen, ohne dass sich die Lösung ändert, solange sie außerhalb des Rands bleiben.
Was bewirkt der Parameter C bei einer Soft-Margin-SVM?
C gewichtet die Strafe für Punkte, die in den Rand hineinragen oder auf der falschen Seite liegen. Kleines C erlaubt viele Verletzungen und ergibt eine breite, tolerante Straße; großes C bestraft sie stark und ergibt eine schmale, strenge Straße, die eher überangepasst ist.
Was ist der Kernel-Trick?
Der Kernel-Trick nutzt, dass die SVM die Daten nur über Skalarprodukte braucht. Ersetzt man diese durch eine Kernelfunktion k(x,x′), rechnet die SVM implizit in einem höherdimensionalen Merkmalsraum, ohne die Transformation explizit zu bilden. So entstehen nichtlineare Grenzen im ursprünglichen Raum.
Was kann ich in der App ausprobieren?
Du setzt und verschiebst Punkte, wählst die Datensätze „Trennbar“, „Überlappend“ oder „Kreis im Ring“, stellst C und γ ein und wechselst zwischen linearem Kernel, Lift und RBF. Die App löst das duale Problem mit SMO und zeigt Stützvektoren, Schlupf und die Entscheidungsfunktion in 3D.

Fach: Machine Learning

Mehr aus Machine Learning

Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps