Zum Inhalt
Alle Apps

PCA — Hauptkomponentenanalyse

Über diese App

Hauptachsen einer 3D-Punktwolke als Eigenvektoren der Kovarianz: Projektion auf k Komponenten mit Loten, Rekonstruktionsfehler = Summe der verworfenen λ, Scree-Plot, Standardisieren und der Unterschied zur Regressionsebene.

Worum es geht

Die Hauptkomponentenanalyse (PCA) sucht die Richtungen, in denen eine Punktwolke am stärksten streut. Diese Richtungen sind die Eigenvektoren der Kovarianzmatrix C, der zugehörige Eigenwert λ ist die Varianz entlang der Richtung. PC₁ trägt die meiste Varianz, PC₂ die meiste des Rests, und alle Hauptachsen stehen senkrecht aufeinander. PCA dreht also nur das Koordinatensystem. Behält man die ersten k Komponenten und projiziert senkrecht darauf, sinkt die Dimension; der mittlere quadrierte Rekonstruktionsfehler ist genau die Summe der verworfenen Eigenwerte.

Was die App zeigt

Eine 3D-Punktwolke (Datensätze „Ebene“, „Zigarre“ und „Scheibe“) mit den Hauptachsen PC₁ bis PC₃, der PC-Ebene und einem Varianz-Ellipsoid. „Projizieren“ drückt jeden Punkt auf die ersten k Komponenten, Lote zeigen, was verloren geht. Ein Scree-Plot zeigt die erklärte Varianz je Komponente und kumuliert; ein Panel nennt Kovarianzmatrix, Eigenvektoren, Eigenwerte und die Spur Σλ. Zum Vergleich lässt sich eine Regressionsebene einblenden, deren Kriterium ein anderes ist.

Selbst ausprobieren

Projiziere mit k = 2 und k = 1 und vergleiche den mittleren Lotabstand² mit der Summe der verworfenen λ: Beide Zahlen sind gleich. Vergrößere die Skala von x₁: Seine Varianz wächst quadratisch, und PC₁ klappt auf die x₁-Achse. Mit „Standardisieren“ bekommt jedes Merkmal Varianz 1. Beim Datensatz „Scheibe“ sind λ₁ und λ₂ fast gleich; achte darauf, dass die Richtung innerhalb der Ebene dann nicht eindeutig ist.

Häufige Fragen

Was ist eine Hauptkomponentenanalyse (PCA)?
PCA ist ein Verfahren zur Dimensionsreduktion. Es dreht das Koordinatensystem so, dass die erste Achse die größte Varianz der Daten erfasst, die zweite die größte verbleibende und so weiter. Behält man nur die ersten Achsen, beschreibt man die Daten mit weniger Merkmalen bei möglichst kleinem Informationsverlust.
Warum sind die Hauptkomponenten die Eigenvektoren der Kovarianzmatrix?
Die Varianz der Daten entlang eines Einheitsvektors v ist vᵀCv. Diese Größe wird unter der Nebenbedingung ‖v‖ = 1 genau dann maximal, wenn v ein Eigenvektor von C zum größten Eigenwert ist; der Eigenwert ist dann die Varianz in dieser Richtung. Weil C symmetrisch ist, stehen die Eigenvektoren senkrecht aufeinander.
Was ist der Unterschied zwischen PCA und linearer Regression?
Regression sagt ein Zielmerkmal aus den anderen voraus und minimiert nur die vertikalen Fehler in diesem Zielmerkmal. PCA behandelt alle Merkmale gleich und minimiert den Abstand senkrecht zur Ebene. Beide Ebenen fallen deshalb im Allgemeinen nicht zusammen.
Was kann ich in der App ausprobieren?
Du wählst einen Datensatz, die Zahl der behaltenen Komponenten k, Rauschen und die Skala von x₁ und projizierst die Wolke. Ein Varianz-Panel vergleicht Rekonstruktionsfehler und verworfene Eigenwerte, ein Mathe-Panel zeigt Kovarianz, Eigenvektoren und Eigenwerte. Optional blendest du eine Regressionsebene ein und siehst den Winkel zwischen beiden Ebenen.

Fach: Machine Learning

Mehr aus Machine Learning

Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps