Zum Inhalt
Alle Apps

AdaBoost

Über diese App

Entscheidungsstümpfe nacheinander auf gewichteten Daten: Fehler wachsen, der nächste Stumpf zielt auf sie, Stimmgewicht α je Runde, exakte Treppen-Grenze des Ensembles, Trainings- und Testfehler über bis zu 60 Runden.

Wie Boosting funktioniert

AdaBoost trainiert nacheinander sehr schwache Lerner, hier Entscheidungsstümpfe mit je einer achsenparallelen Trennlinie. Jeder Trainingspunkt trägt ein Gewicht, anfangs 1/N. Der Stumpf wird auf die gewichteten Daten trainiert und macht den gewichteten Fehler ε. Danach werden falsch eingeordnete Punkte schwerer, richtig eingeordnete leichter, sodass sich der nächste Stumpf auf die schweren Fälle konzentriert. Jeder Stumpf erhält das Stimmgewicht α = ½·ln((1−ε)/ε); bei ε = 0,5 (Raten) ist α = 0. Die gewichtete Abstimmung aller Stümpfe ergibt die Entscheidung des Ensembles.

Was die App zeigt

Vier Karten: der aktuelle Weak Learner mit Punktgrößen als Gewichte, die Grenze des Ensembles als Treppe aus geraden Schnitten, das Stimmgewicht α je Runde als Balken und der Fehlerverlauf. Die Fehlerkurve zeigt Trainingsfehler, Testfehler, ε je Stumpf und die theoretische Schranke Π 2√(ε(1−ε)) für den Trainingsfehler. Eine Tabelle listet Split, Fehler und α jeder Runde; ein Klick auf eine Zeile oder einen Balken zeigt das Ensemble nur bis zu dieser Runde.

Selbst ausprobieren

Lade „Kreis“, „Diagonale“ oder „Monde“ oder setze eigene Punkte der Klassen A und B. Trainiere Runde für Runde mit „+1 Weak Learner“ und beobachte, wie die Fehler des vorigen Stumpfs wachsen. Spätere Stümpfe haben meist ein größeres ε und damit ein kleineres α. Achte darauf, dass der Trainingsfehler fällt, während der Testfehler irgendwann abflacht: Mehr Runden helfen dann nicht mehr.

Häufige Fragen

Wie funktioniert AdaBoost?
AdaBoost baut ein Ensemble aus schwachen Lernern, die nacheinander trainiert werden. Nach jeder Runde erhöht es die Gewichte der falsch klassifizierten Punkte, damit der nächste Lerner sich auf sie konzentriert. Am Ende stimmen alle Lerner gewichtet ab; genauere Lerner haben eine größere Stimme α.
Wie berechnet sich das Stimmgewicht α bei AdaBoost?
Für einen Lerner mit gewichtetem Fehler ε gilt α = ½·ln((1−ε)/ε). Ein fast fehlerfreier Lerner bekommt ein großes α, ein Lerner mit ε = 0,5 bekommt α = 0, weil er nicht besser als Raten ist.
Was ist der Unterschied zwischen Boosting und Bagging?
Bagging trainiert viele Modelle unabhängig auf Bootstrap-Stichproben und lässt sie gleichberechtigt abstimmen; das senkt vor allem die Varianz. Boosting trainiert sequenziell, jeder Lerner hängt von den Fehlern des vorigen ab, und die Stimmen sind ungleich gewichtet; das senkt vor allem den Bias.
Was kann ich in der App ausprobieren?
Du wählst einen Datensatz oder setzt Punkte, trainierst Runde für Runde oder automatisch und blendest Testdaten ein. Die App zeigt den aktuellen Stumpf mit den Punktgewichten, die Ensemble-Grenze, α je Runde und Trainings- sowie Testfehler über bis zu 60 Runden.

Fach: Machine Learning

Mehr aus Machine Learning

Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps