Zum Inhalt
Alle Apps

k-Nächste-Nachbarn (kNN)

Über diese App

Abfragepunkt, seine k Nachbarn mit Distanzform und Mehrheitsvotum: Entscheidungsregionen von k = 1 (zackig) bis k = 40 (glatt), Trainings- und Testgenauigkeit über k, Metrik und Merkmalsskalierung verändern die Nachbarschaft.

Wie kNN klassifiziert

k-Nächste-Nachbarn lernt vorab keine Formel. Für einen neuen Punkt sucht das Verfahren die k nächstgelegenen Trainingspunkte und lässt sie abstimmen; die häufigste Klasse gewinnt. Bei k = 1 zerfällt der Raum in Zellen um jeden Trainingspunkt, ähnlich einem Voronoi-Mosaik: Jeder Ausreißer bekommt eine eigene Insel, das Modell ist überangepasst. Sehr großes k glättet dagegen alles, bis fast überall die häufigere Klasse gewinnt. Weil kNN nur auf Abständen beruht, hängt das Ergebnis stark von der Distanzfunktion und von der Skalierung der Merkmale ab.

Was die App zeigt

Ein Merkmalsraum mit zwei Klassen, eingefärbt nach dem Votum an jeder Stelle: je kräftiger, desto eindeutiger. Um den Abfragepunkt umschließt eine gestrichelte Form genau die k Nachbarn, bei euklidischer Distanz als Kreis, bei Manhattan als Raute. Ein Panel listet die Nachbarn mit Abstand und Stimme, eine Kurve zeigt Trainings- und Testgenauigkeit über k und markiert das beste k. Ohne Testdaten rechnet die Kurve mit Leave-one-out.

Selbst ausprobieren

Ziehe den Abfragepunkt über eine Klassengrenze und sieh, wie das Votum kippt. Klicke in der Genauigkeitskurve auf k = 1 und auf große k und vergleiche die Regionen. Wechsle zwischen euklidischer und Manhattan-Distanz. Strecke dann Merkmal x₁: Die Nachbarschaft wird zur Ellipse, andere Punkte stimmen ab. Achte darauf, wie „Standardisieren (×1)“ das wieder ausgleicht.

Häufige Fragen

Wie funktioniert der k-Nearest-Neighbors-Algorithmus?
kNN speichert die Trainingsdaten und klassifiziert einen neuen Punkt durch die Mehrheit seiner k nächsten Nachbarn. Es gibt keine eigentliche Trainingsphase; der Aufwand entsteht bei der Vorhersage, weil Abstände zu allen gespeicherten Punkten berechnet werden. Für Regression nimmt man statt der Mehrheit den Mittelwert der Nachbarn.
Wie wählt man k bei kNN?
Kleines k folgt jedem Ausreißer und neigt zur Überanpassung, großes k glättet zu stark und verwischt echte Grenzen. Üblich ist, k per Validierungsdaten oder Kreuzvalidierung zu wählen und die Genauigkeit über k aufzutragen. Bei zwei Klassen vermeidet ein ungerades k Gleichstände.
Warum muss man Merkmale für kNN skalieren?
kNN entscheidet nach Abständen. Ein Merkmal mit großer Zahlenspanne, etwa in einer kleinen Einheit gemessen, dominiert die Distanz und drängt die anderen Merkmale in den Hintergrund. Standardisieren auf Mittelwert 0 und Varianz 1 gibt allen Merkmalen ein vergleichbares Gewicht.
Was kann ich in der App ausprobieren?
Du setzt einen Abfragepunkt, wählst k, die Distanz (euklidisch oder Manhattan) und die Skalierung von x₁ und setzt oder verschiebst Trainingspunkte. Die App zeigt die Nachbarn mit ihrer Distanzform, das Mehrheitsvotum, die Entscheidungsregionen und Trainings- sowie Testgenauigkeit über k.

Fach: Machine Learning

Mehr aus Machine Learning

Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps