Zum Inhalt
Alle Apps

Neural Rendering (NeRF)

Über diese App

Die Szene als Funktion statt als Mesh: Ein kleines Netz liefert für jeden Raumpunkt Farbe und Dichte. Ein Strahl wird durch das Volumen marschiert, die Proben werden zu einem Pixel aufintegriert. Neue Blickwinkel entstehen berechnet — inklusive blickabhängigem Glanz.

Was ein NeRF ist

Ein Neural Radiance Field (NeRF) speichert eine Szene weder als Fotos noch als 3D-Netz. Es ist eine Funktion des Raums, meist ein kleines neuronales Netz, das für einen Punkt und eine Blickrichtung eine Farbe und eine Dichte liefert. Um ein Pixel zu rendern, schickt man einen Strahl durch die Szene, tastet die Funktion an vielen Punkten ab und mischt die Farben, gewichtet mit der Dichte und der verbleibenden Transmittanz (Volume Rendering). Weil die Farbe von der Blickrichtung abhängt, kann ein NeRF auch Glanzlichter darstellen, die mit dem Betrachter wandern.

Was die App zeigt

Die App zeigt den Rendering-Vorgang für einen einzelnen Strahl. Du wählst die Zahl der Abtastpunkte und gehst Schritt für Schritt den Strahl entlang. An jedem Punkt werden Dichte, Farbe und die verbleibende Transmittanz angezeigt, und die Pixelfarbe baut sich auf. Zwei Regler ändern den Blickwinkel horizontal und vertikal; das Bild wird dann neu berechnet. Eine Option betont den blickabhängigen Glanz. Als Szenenfunktion dient in der App ein analytisches Feld, das die Rolle des trainierten Netzes übernimmt.

Selbst ausprobieren

Erhöhe die Zahl der Abtastpunkte und beobachte, wie die Pixelfarbe stabiler wird. Geh langsam durch den Marsch: Sobald der Strahl auf dichtes Material trifft, fällt die Transmittanz, und spätere Punkte tragen kaum noch bei. Schalte den Glanz ein und dreh den Blick: Der Glanzpunkt wandert über die Oberfläche. Das kann eine reine Sammlung von Fotos nicht leisten, weil sie nur die aufgenommenen Ansichten enthält.

Häufige Fragen

Was ist NeRF einfach erklärt?
NeRF steht für Neural Radiance Field. Ein neuronales Netz lernt aus Fotos einer Szene, welche Farbe und Dichte jeder Raumpunkt aus jeder Blickrichtung hat. Daraus lassen sich neue Ansichten berechnen, die nie fotografiert wurden.
Wie rendert ein NeRF ein Bild?
Für jedes Pixel wird ein Strahl in die Szene geschickt und an vielen Punkten abgetastet. Die Farben der Punkte werden nach Dichte und Transmittanz gewichtet aufsummiert. Dieses Volume Rendering wird für alle Pixel wiederholt, was rechenaufwendig ist.
Was ist der Unterschied zwischen NeRF und Photogrammetrie?
Photogrammetrie rekonstruiert eine explizite Geometrie aus triangulierten Merkmalspunkten. NeRF lernt eine kontinuierliche Funktion für Farbe und Dichte und kann blickabhängige Effekte wie Glanz darstellen. Dafür ist das Rendern eines NeRF deutlich langsamer.
Verwendet die App ein echtes trainiertes NeRF?
Nein. Die App nutzt ein analytisch definiertes Feld für Farbe und Dichte, das die Rolle des Netzes übernimmt. Der Rendering-Ablauf mit Strahl, Abtastung und Volume Rendering entspricht dem Prinzip eines NeRF.

Fach: Computer Vision

Mehr aus Computer Vision

Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps