Zum Inhalt
Alle Apps

Ensemble: Bagging vs. Boosting

Über diese App

Viele flache Entscheidungsbäume zu einem starken Modell vereint: Einzelbaum (kantige Treppe), Bagging (Varianz mitteln → glatte Grenze) und Boosting (sequenziell auf schwere Fälle). Verschränkte „two moons", Genauigkeit über die Baumzahl — Random Forest greifbar.

Viele schwache Lerner, ein starkes Modell

Ein Ensemble kombiniert viele schwache Lerner, hier flache Entscheidungsbäume, zu einem stärkeren Modell. Bagging trainiert die Bäume unabhängig voneinander auf zufälligen Bootstrap-Stichproben und lässt sie per Mehrheit abstimmen. Weil sich voneinander unabhängige Fehler teilweise wegmitteln, sinkt vor allem die Varianz. Boosting, hier AdaBoost, trainiert sequenziell: Nach jedem Baum werden falsch klassifizierte Punkte stärker gewichtet, der nächste Baum konzentriert sich auf sie. Das senkt vor allem den Bias. Ein Random Forest ist Bagging plus zufällige Merkmalsauswahl an jedem Split.

Was die App zeigt

Zwei ineinandergreifende Halbmonde („two moons“) als Trainingsdaten und die Entscheidungsgrenze des gewählten Modus: ein einzelner flacher Baum mit kantiger, treppenförmiger Grenze, Bagging mit gemitteltem Votum oder Boosting mit sequenziell gewichteten Bäumen. Eine Kurve zeigt Trainings- und Testgenauigkeit über die Zahl der Bäume. Die Testgenauigkeit wird auf einem dichten Gitter mit dem wahren Klassenmuster geschätzt.

Selbst ausprobieren

Beginne mit „Einzelbaum“ und einer Tiefe von 1 bis 4. Wechsle zu Bagging und schiebe die Zahl der Bäume T von 1 bis 50: Die Grenze wird glatter. Vergleiche dann Boosting bei gleicher Tiefe. Achte darauf, bei welchem Verfahren schon wenige Bäume viel bringen und wo die Testgenauigkeit stehen bleibt. Mit „Neue Daten“ ziehst du eine neue Stichprobe.

Häufige Fragen

Was ist der Unterschied zwischen Bagging und Boosting?
Bagging trainiert viele Modelle parallel auf Bootstrap-Stichproben und mittelt ihre Vorhersagen; das reduziert vor allem die Varianz. Boosting trainiert Modelle nacheinander, wobei jedes die Fehler der vorigen stärker gewichtet; das reduziert vor allem den Bias. Bagging nutzt meist tiefe, Boosting meist flache Bäume.
Was ist eine Bootstrap-Stichprobe?
Eine Bootstrap-Stichprobe zieht n Punkte mit Zurücklegen aus n Trainingspunkten. Manche Punkte kommen mehrfach vor, im Mittel fehlt etwa ein Drittel. Jeder Baum sieht so einen etwas anderen Datensatz, und die Bäume machen unterschiedliche Fehler.
Warum sind Ensembles oft besser als ein einzelner Baum?
Ein einzelner Entscheidungsbaum reagiert stark auf kleine Änderungen der Daten und hat deshalb hohe Varianz. Mitteln viele unterschiedliche Bäume ihre Vorhersagen, gleichen sich zufällige Fehler teilweise aus. Boosting kann zusätzlich systematische Fehler schrittweise korrigieren.
Was kann ich in der App ausprobieren?
Du wählst den Modus Einzelbaum, Bagging oder Boosting, stellst die Zahl der Bäume T (1 bis 50) und die maximale Baumtiefe (1 bis 4) ein und ziehst neue Daten. Die App zeigt die Entscheidungsgrenze und die Trainings- und Testgenauigkeit über die Baumzahl.

Fach: Machine Learning

Mehr aus Machine Learning

Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps