Random Forest
Über diese App
Viele zufällige Entscheidungsbäume stimmen ab: Die Mehrheit glättet die zackigen Grenzen einzelner Bäume und senkt den Testfehler — Bootstrap, Feature-Zufall, Out-of-Bag-Fehler und Testfehler über die Zahl der Bäume.
Wie ein Random Forest entscheidet
Ein Random Forest trainiert viele Entscheidungsbäume und lässt sie abstimmen. Jeder Baum sieht eine Bootstrap-Stichprobe, also n Punkte mit Zurücklegen gezogen; etwa ein Drittel der Punkte bleibt dabei als „Out of Bag“ draußen und kann zur Fehlerschätzung dienen. Zusätzlich prüft jeder Baum an jedem Split nur eine zufällige Auswahl der Merkmale. Ein tiefer Einzelbaum lernt das Rauschen mit und hat eine zackige Grenze. Weil die Bäume des Waldes an verschiedenen Stellen irren, mitteln sich viele Fehler weg: Die Grenze wird glatter, der Testfehler sinkt.
Was die App zeigt
Eine Abstimmungskarte, auf der die Farbstärke den Stimmenanteil des Waldes zeigt, daneben ein einzelner Baum mit seinen im Beutel gezogenen und seinen Out-of-Bag-Punkten. Eine Kurve trägt den Testfehler des Waldes, die Out-of-Bag-Schätzung und den mittleren Fehler eines Einzelbaums über die Zahl der Bäume auf, mit logarithmischer Achse. Getestet wird auf 1000 frischen Punkten derselben Verteilung. Eine Übersicht zeigt alle Bäume als kleine Karten.
Selbst ausprobieren
Lass den Wald mit den Datensätzen „Monde“, „Ringe“ oder „XOR“ wachsen und tippe einzelne Bäume an. Achte darauf, dass die Fehlerkurve mit mehr Bäumen auf einem Plateau endet und nicht wieder steigt. Schalte Bootstrap aus und erlaube alle Merkmale je Split: Dann sind alle Bäume gleich. Nimm das Rausch-Merkmal x₃ dazu und vergleiche die Merkmalswahl je Split.
Häufige Fragen
- Wie funktioniert ein Random Forest?
- Ein Random Forest besteht aus vielen Entscheidungsbäumen, die jeweils auf einer Bootstrap-Stichprobe und mit zufälliger Merkmalsauswahl an jedem Split trainiert werden. Bei der Klassifikation stimmen alle Bäume ab, und die Mehrheit entscheidet. Die Zufälligkeit sorgt dafür, dass die Bäume verschieden sind und sich ihre Fehler teilweise ausgleichen.
- Kann ein Random Forest durch mehr Bäume überangepasst werden?
- Mehr Bäume führen nicht zu Überanpassung; der Testfehler nähert sich mit wachsender Baumzahl einem Plateau. Überanpassung kann aber durch andere Einstellungen entstehen, etwa durch sehr verrauschte Daten. Mehr Bäume kosten vor allem Rechenzeit.
- Was ist der Out-of-Bag-Fehler?
- Beim Bootstrap bleibt für jeden Baum etwa ein Drittel der Trainingspunkte ungenutzt. Sagt man jeden Punkt nur mit den Bäumen vorher, die ihn nicht gesehen haben, erhält man den Out-of-Bag-Fehler. Er schätzt den Testfehler, ohne einen eigenen Testsatz zu benötigen.
- Was kann ich in der App ausprobieren?
- Du stellst Anzahl der Bäume (bis 200), maximale Tiefe, Merkmale je Split und Bootstrap ein, wählst Datensatz, Rauschen und Punktzahl und lässt den Wald wachsen. Die App zeigt die Abstimmung, einzelne Bäume, den Out-of-Bag-Fehler und den Testfehler über die Zahl der Bäume.
Fach: Machine Learning
Mehr aus Machine Learning
- AdaBoost
- Anatomie eines Prompts
- Datenschutz-Ampel
- Decision Tree (Entscheidungsbaum)
- Ensemble: Bagging vs. Boosting
- Gesichter finden: Masken gegen Lernen aus Beispielen
- k-Means
- k-Nächste-Nachbarn (kNN)
Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps