»Mittendrin statt nur dabei!« Können Sie sich noch an den alten Werbeslogan aus dem Jahr 2000 erinnern? Damals warb das mittlerweile umfirmierte Deutsche Sportfernsehen (DSF) für ein »Rundumerlebnis« und versprach damit (zumindest in technischer Hinsicht) ein wenig zu viel. Denn Realität wird das Filmerleben »mittendrin« erst durch neueste Aufnahmetechniken, wie sie derzeit vom Fraunhofer-Institut für Nachrichtentechnik, Heinrich-Hertz-Institut HHI geprägt werden. Hier wurde und wird derzeit die Software »3D Human Body Reconstruction« entwickelt, die man – zusammen mit dem vom Fraunhofer HHI entwickelten speziellen Aufnahmeverfahren - getrost als die entscheidende Schlüsseltechnologie im Bereich »Volumetric Video« bezeichnen kann. Volumetric Video ist eine spezielle Technik, die Menschen und Objekte dreidimensional erfasst und die Daten so verarbeitet, dass sie in Virtual Reality Szenen dreidimensional wiedergegeben werden. In der Konsequenz können Menschen mit einer VR-Brille also um diese dynamischen 3D Modelle herumgehen und beispielsweise einem Schauspieler über die Schulter sehen – ähnlich wie man das aus den Hologrammen der Star Wars Filme kennt.

Aufnahmen mit 16 Stereo-Kameras und Re-Lightning

Wie gut das funktioniert hat das Filmunternehmen UFA gemeinsam mit dem Fraunhofer HHI in diesem Jahr mit der Produktion des Films »Ein ganzes Leben« gezeigt. Dabei folgen die Zuschauer der Schauspielerin Maria (gespielt von Franziska Brandmeier) durch die Geschichte der Filmproduktion: In einer begehbaren Welt erleben sie die Dreharbeiten des frühen Films in den 1920er-Jahren dreidimensional. Unter anderem sehen sie, wie technische Tricks und Illusionen eingesetzt wurden. Vor allem aber: Sie sind mittendrin. Sie können sich (wenn auch zunächst nur in einem Raum von üblicherweise vier mal vier Metern) umsehen und die Schauspieler während ihrer Handlungen von allen Seiten betrachten. Im April diesen Jahres wurde die Produktion deshalb mit dem Laval Virtual Award in der Kategorie »Arts and Cultural Heritage« ausgezeichnet. Laval Virtual ist eine weltweit führende Konferenz und Ausstellung für virtuelle Technologien und Anwendungen in Frankreich.

Möglich wird dieses vollkommen neue Filmerleben vor allem durch besondere Formen der Aufnahmetechnik und die Software. »Im Vergleich zu Studios etwa von Microsoft oder in Hollywood nutzen wir zur Aufnahme der Schauspieler spezielle LED-Panels, die eine gleichmäßige und diffuse Beleuchtung des Schauspielers oder des Objekts gewährleisten«, sagt Projektleiter Dr. Oliver Schreer. Im Gegensatz beispielsweise zu einer herkömmlichen Greenscreen-Technologie können bei diesem »Re-Lighting« Lichtstimmungen wie beispielsweise ein Sonnenuntergang erst danach in das Gesamtbild eingefügt werden. Das durch Scheinwerfer erzeugte Abendrot, das auf den Schauspieler trifft, wirkt also authentisch und nicht mehr durch das Zusammensetzen mehrerer beleuchteter Elemente konstruiert.

Das Team hinter der neuartigen Technologie, welche durch die Kooperation von Fraunhofer HHI und der UFA entstanden ist. Bild: STEFAN KNY | Volucap GmbH

Die Aufnahmetechnik selbst besteht aus insgesamt 16 Stereokameras, die Videodaten im Umfang von rund 1,6 Terabyte pro Minute  erzeugen. Aus diesen Stereovideodaten wird dann mittels Computer Vision Verfahren die 3D-Informationen aus unterschiedlichen Standpunkten rund um die Person berechnet. In diesem 3D Datensatz sind der Körper, die Kleidung, der Kopf und vor allem jeder einzelne Gesichtszug eines Schauspielers oder einer Schauspielerin sowie sein Spiel gespeichert. Wegen der gigantischen Datenmenge setzen die Forscher zur Weiterverarbeitung ein lokales Cloud-System mit mehreren Servern ein, um die immensen Rechenerfordernisse an PCs mit leistungsstarken Grafikkarten zu verteilen. »Jeder der 3D-Punkte wird dabei genutzt, um ein Drahtgittermodell eines Menschen oder eines Objekts zu jedem Zeitpunkt zu berechnen«, beschreibt Schreer. Der so entstehende neue Datensatz ist allerdings weiterhin viel zu groß, um von den Wiedergabesystemen genutzt werden zu können. Durch eine automatische »Mesh-Reduktion« wird er deshalb an die jeweils erforderliche Datenmenge des späteren Endgeräts angepasst. »Die Meshsequenz wird immer so weit reduziert, wie es die Performance des jeweiligen Gerätes erlaubt. Denn es ist ein großer Unterschied, ob sie für eine hochaufgelöste Desktop-Darstellung etwa für die HTC Vive oder Oculus Rift produzieren wollen oder für ihr Smartphone oder Tablet«, so Schreer. Insgesamt dauert es rund zwölf Stunden, um auf diese Weise das Spiel eines Schauspielers in elektronischer Form zur Verfügung zu stellen. »An eine Liveübertragung, wie sie die Hologramme in Star Wars suggerieren, ist deshalb längst noch nicht zu denken«, kommentiert Schreer.

Volumetrisches Videostudio

Für professionelle Produktionen und um über ein experimentelles Labor zu verfügen, mit dem das System weiterentwickelt werden kann, hat das Fraunhofer HHI, zusammen mit ARRI, Studio Babelsberg, Interlake und der UFA im Juni dieses Jahres ein eigenes Volumetrisches Videostudio in Potsdam-Babelsberg in Betrieb genommen. »Die Möglichkeit, hochprofessionelle dynamische 3D-Darstellungen von Schauspielern zu erzeugen und sie in eine konsistente, natürliche und dynamische 3D-Präsentation umzuwandeln, stößt natürlich insbesondere bei den US-amerikanischen Filmstudios auf großes Interesse«, betont Schreer. Auch der Einsatz etwa für die Spieleindustrie sei denkbar. »Darüber hinaus sehen wir aber hervorragende Anwendungsmöglichkeiten beispielsweise in der Medizintechnik, bei Industrie 4.0 oder im Bereich von Schulungen und des E-Learnings«, sagt Schreer. Von der zerstörten Stadt Palmyra in Syrien beispielsweise gebe es eine sehr ausführliche virtuelle 3D-Modellierung von (hoffentlich bald) wieder aufgebauten Gebäuden, Straßen und Denkmälern. Allerdings sei dieses Zukunftsmodell noch unbelebt. Mithilfe von Volumetric Video und 3D Human Body Reconstruction wäre es nun möglich, die Stadt wieder mit Leben zu füllen und »echte« Händler, Bürger oder Kinder einzufügen. Eine friedliche syrische Stadt wäre dann zumindest im Film wieder erlebbar.

(md)