Zum Inhalt
Alle Apps

3D Gaussian Splatting

Über diese App

Tausende orientierte, weiche Farb-Gaußverteilungen werden projiziert und geblendet („gesplattet") — kein Ray-Marching, daher Echtzeit. Umschalten Splats ↔ gerendert zeigt: aus vielen anisotropen Blobs entsteht eine fotorealistische, umfliegbare Szene. Das, was NeRF ablöste.

Was Gaussian Splatting ist

3D Gaussian Splatting stellt eine Szene als Sammlung vieler dreidimensionaler Gauß-Verteilungen dar. Jede ist ein weiches, orientiertes Ellipsoid mit Position, Form, Farbe und Deckkraft. Zum Rendern wird jedes Ellipsoid auf den Bildschirm projiziert und in der Tiefenreihenfolge überblendet, also rasterisiert. Ein Strahlenmarsch durch das Volumen wie bei NeRF entfällt, deshalb läuft das Verfahren in Echtzeit. Es ist keine einfache Punktwolke: Die weichen, gekippten Klumpen überlappen sich und ergeben zusammen eine geschlossene Oberfläche. In der Praxis werden die Parameter der Gauß-Verteilungen aus Fotos optimiert.

Was die App zeigt

Die Szene ist ein Torusknoten aus rund 17.000 Splats, auf Mobilgeräten etwa 9.000, die auf seiner Oberfläche verteilt sind. Ein Schalter wechselt zwischen gerenderter Ansicht und Splat-Ansicht, in der die einzelnen Ellipsoide sichtbar werden. Regler ändern Splat-Größe und Deckkraft, eine Anzeige zeigt Zahl der Splats und Bildrate. Die Kamera dreht sich auf Wunsch automatisch, ein Knopf zoomt direkt auf einen einzelnen Splat.

Selbst ausprobieren

Schalte auf Splats und zoome hinein: Der scheinbar feste Körper zerfällt in einzelne weiche, gekippte Ellipsoide. Verringere die Splat-Größe, bis Lücken sichtbar werden, und erhöhe sie wieder, bis die Fläche geschlossen ist. Dreh die Kamera frei um das Objekt. Jede Ansicht ist eine neue, in Echtzeit berechnete Perspektive, auch aus Winkeln, die nie aufgenommen wurden.

Häufige Fragen

Was ist 3D Gaussian Splatting?
3D Gaussian Splatting ist ein Verfahren, eine Szene als Menge vieler farbiger 3D-Gauß-Ellipsoide zu speichern und darzustellen. Die Ellipsoide werden auf das Bild projiziert und überblendet. Die Parameter werden aus Fotos der Szene optimiert, sodass neue Ansichten in Echtzeit möglich sind.
Was ist der Unterschied zwischen Gaussian Splatting und NeRF?
NeRF speichert die Szene implizit in einem neuronalen Netz und rendert durch Abtasten von Strahlen, was langsam ist. Gaussian Splatting nutzt explizite Primitive, die direkt rasterisiert werden. Dadurch ist es beim Rendern deutlich schneller und erreicht Echtzeit-Bildraten.
Warum ist Gaussian Splatting so schnell?
Statt für jedes Pixel einen Strahl durch das Volumen zu verfolgen, werden die Ellipsoide einmal sortiert, auf den Bildschirm projiziert und überblendet. Dieser Rasterisierungsschritt lässt sich auf der Grafikkarte sehr effizient parallel ausführen.
Was kann ich in der App einstellen?
Du wechselst zwischen gerenderter Ansicht und Splat-Ansicht, änderst Splat-Größe und Deckkraft, schaltest die Auto-Drehung ein und zoomst auf einen einzelnen Splat. Ziehen dreht die Kamera, Scrollen zoomt.

Fach: Computer Vision

Mehr aus Computer Vision

Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps