Hallo Herr Bassbouss, Sie sind Forscher am Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS und einer der führenden Köpfe hinter dem Projekt Virtual LiVe, an dem auch zwei weitere Fraunhofer-Institute beteiligt sind.

Die intensive Zusammenarbeit von Forscherinnen und Forschern aus verschiedenen Fachrichtungen und von verschiedenen Institutionen ist in der Regel immer ein wichtiger Erfolgsfaktor für unsere Entwicklungen. Für das aktuelle Projekt aber ist es mehr als das. Nur weil wir die Expertise des Fraunhofer-Instituts für Nachrichtentechnik, Heinrich-Hertz-Institut, HHI, des Fraunhofer-Instituts für Integrierte Schaltungen IIS und unseres Instituts, des Fraunhofer-Instituts für offene Kommunikationssysteme FOKUS, zusammengebracht haben, ist ein derart revolutionäres Vorhaben wie Virtual LiVe überhaupt möglich.

Verknappt gesagt soll es dank der Forschungen zu Virtual LiVe möglich werden, an Live-Events ortsungebunden und sozusagen »livehaftig« teilnehmen zu können.

Wie das funktionieren kann, haben wir in ersten Testszenarien bereits Ende vergangenen Jahres gezeigt: Wir haben für das Konzert des Künstlers Billy Andrews das Kesselhaus in Berlin als originalen Veranstaltungsort mit dem Planetarium Bochum verbunden – per 360-Grad-Livestream und mit Audio in 3D. Wer im Planetarium war, konnte das Konzert also ähnlich intensiv erleben, als wäre er oder sie im Kesselhaus dabei gewesen. Ein kurzer Film auf YouTube und das making of zeigen, was wir auf die Beine gestellt haben.

Ziel von Virtual LiVe ist eine Plattform, die verschiedene skalierbare High-End-Lösungen bereithält. Aus ihnen sollen sich unterschiedliche Branchen die für ihr jeweiliges Event-Streaming passenden Werkzeuge heraussuchen können.

Richtig, Anbieter und Anbieterinnen können dann ein maßgeschneidertes Technik-Programm für ihre jeweiligen Anforderungen zusammenstellen. So können sie unterschiedlichste Angebote erstellen, zum Beispiel in Bezug auf die Qualität, Bezahlschranken, vorhandene Hardware, Breitbandverfügbarkeit und natürlich auch rechtliche Aspekte.

Die Live-Übertragung des Konzerts im Kesselhaus war die erste Bewährungsprobe für das Projekt Virtual Live. Bild: Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS

Das zielt dann vor allem auf ein Publikum, dass längere Anfahrten zu Konzerten oder anderen Veranstaltungen vermeiden will.

Nicht nur. Denken Sie an die Einschränkungen durch die Pandemie oder auch, weil Interessierte nicht zu lange von ihren Kindern wegbleiben können. Oder vielleicht, weil sie sich aus Sicherheitsgründen vor Ort unwohl fühlen.

Wobei Sie gezielt auf ein hybrides Modell zur Demonstration gesetzt haben: Es war nicht der oder die Künstler*in alleine vor Ort und die Zuseher- und hörer*innen an einem oder auch vielen anderen Orten. Sie haben auch das Konzertpublikum mit in die Übertragung einbezogen.

Natürlich ist es ebenso gut vorstellbar, dass nur die Performance an sich übertragen wird. Und bei unserem Experiment hatten wir auch rund 1.000 Teilnehmer und Teilnehmerinnen, die zusätzlich online Zuhause oder via Smartphone dabei waren. Aber das hybride Modell schien uns interessanter, weil wir so zeigen konnten, dass sich auch die Atmosphäre in der Halle transportieren lässt.

Inwiefern kann sich das »ortsferne« Publikum interaktiv am Konzert vor Ort beteiligen?

Die Zuschauerinnen und Zuschauer konnten die Veranstaltung in beliebigen Webbrowsern auf allen Desktop- und mobilen Plattformen verfolgen. Ihnen standen Interaktionsmöglichkeiten zur Verfügung, mit denen sie visuelles Feedback geben konnten. Dazu gehören etwa Applaus, Daumen-hoch- oder Herz-Symbole. Und sie konnten sich in Video-Chaträumen, den sogenannten Fan Channels treffen, um in einem Watch Together das Konzert gemeinsam zu erleben. Darüber hinaus wurde der Livestream des Kesselhauskonzerts über einen ZDF-Kanal im Standard Hybrid Broadcast Broadband TV bereitgestellt. Eine HbbTV Anwendung ermöglicht es den Nutzern und Nutzerinnen, Interaktionen über die Farbtasten der TV-Fernbedienung zu senden. Die Reaktionen der Zuschauerinnen und Zuschauer wurden dann auf einer Leinwand nahe der Bühne den Künstlern und Künstlerinnen sowie dem Publikum im Kesselhaus gezeigt.

Im Moment konzentrieren Sie sich vor allem darauf, einzelne Künstler*innen, die an verschiedenen Orten musizieren, zusammenzubringen.

Richtig. Wir schaffen eine Möglichkeit, gemeinsam zu performen, ohne dass die Latenz einen negativen Einfluss darauf hat. Es geht darum, Möglichkeiten zu kreieren, wie ein Künstler oder eine Künstlerin seinen Partner oder seine Partnerin live erlebt, ohne dass er oder sie auch tatsächlich vor Ort ist. Wir nennen die zugeschalteten Orte dann satellite locations.

Das aber ist nicht unbedingt eine Neuheit. Auf YouTube gibt es zahlreiche Videos, wie sich Musiker*innen aus der ganzen Welt zusammenschalten, um live miteinander zu jammen.

Die YouTube-Videos sind aber nicht vergleichbar, da sie geschnitten sind und die Künstlerinnen und Künstler nicht live miteinander performen. Das geht bisher ja schon rein technisch nicht, denn die Latenz bei der Übertragung ist viel zu groß. Wir arbeiten an einer völlig neuen Qualität. Das bedeutet unter anderem, dass der Künstler oder die Künstlerin auf der Bühne von allen Seiten erfasst wird, sodass ein virtuelles und akustisches 3D-Modell entsteht, das dann an anderer Stelle irgendwo auf der Landkarte zum Leben erweckt werden kann. Durch Hologramme beispielsweise oder über AR-Displays. Nutzer und Nutzerinnen können den Künstler oder die Künstlerinnen also nahezu so erleben, als wären sie auf der Bühne mit dabei. Sie können um ihn oder sie herumlaufen, mit ihm oder ihr sprechen und – das steht im Moment im Mittelpunkt – mit ihm oder ihr Musik machen und erleben. Ganz so als wären alle zusammen im Probenraum oder auf der Konzertbühne.

Sie denken sogar noch einen Schritt weiter und beziehen auch das Metaverse mit ein.

Das Metaverse ist die derzeit bedeutendste Weiterentwicklung des Internets. Hier könnten die Grenzen zwischen Realität und virtueller Realität tatsächlich erstmals verschwimmen, sodass wesentlich immersivere soziale Interaktionen möglich werden als das heute über die sozialen Medien geht. Unser System wird deshalb erlauben, sich und seine Kunst in diese digitale Welt zu versetzen und hier Konzerte zu geben, Diskussionsveranstaltungen zu initiieren oder Vorträge zu halten, die ein Gefühl des Live-Dabeiseins vermitteln.

Das aber wird alles noch dauern, oder wie weit denken Sie und Ihre Kolleg*innen schon in Richtung Marktreife?

Wir bewegen uns im Moment noch in der Spanne zwischen Vorlaufforschung, um Grundsätzliches zu klären und ersten konkreten Blicken auf den Markt. Deshalb arbeiten wir in einer Art Baukastensystem, bei dem die einzelnen Komponenten unterschiedlich weit entwickelt sind. Einiges kann man jetzt schon nutzen, wie unser Experiment im Kesselhaus gezeigt hat, bei anderem sind die Entwicklungen noch nicht fortgeschritten genug.

Das Konzert im Kesselhaus konnte live und in 3D übertragen werden. Bild: Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS

Dazu kommt das Problem der Bandbreite für ein niedrig latentes Streaming …

Das ist im Moment der limitierende Faktor für unsere Arbeit. Denn wir müssen davon ausgehen, dass nach wie vor viele mögliche satellite locations für unsere Vorgaben viel zu schlecht an das Internet angebunden sind. Unser Vorhaben setzt hohe Bandbreiten voraus, um Übertragungsqualitäten zu erreichen, die sonst nur mit Glasfasernetzen möglich sind. Und es erlaubt nur eine minimale Latenz. Bei der Produktion der Daten ist 5G zwar ein Enabler, auf den wir zurückgreifen, um die Bild- und Tonsignale an einem Ort zusammenzuführen. Aber für die eigentliche Übertragung ist auch das nicht ausreichend, vor allem wenn es um Anforderungen an Latenzen von weniger als 20ms für die Audioübertragung für das ‚gemeinsame‘ Musizieren geht. Deshalb wurde der hochbitratige Videostream über eine 5G-Verbindung zum Kesselhaus übertragen, um die niedrig latente Audioübertragung für das ‘gemeinsame‘ Musizieren nicht zu beeinträchtigen. 

Und aus welchen Teilen besteht dieser Baukasten?

Man kann diesen Baukasten in drei einfache Blöcke aufteilen, an denen die beteiligten Institute mit ihren unterschiedlichen Kompetenzen arbeiten. Das sind zunächst die Aufnahmetools, dann die Übertragungstools und schließlich die Tools zur Wiedergabe. In jedem Block müssen noch spezielle Fragen, wie beispielsweise Audioaufnahme, Mikrophonierung, 360-Grad-Video, 2D-Video, Videokompression, Übertragungswege, Netznutzung oder Netzwerkbedingungen geklärt werden. Hinzu kommen Forschungen zur Standardisierung. Denn ohne einheitliche Standards etwa für den Codec, um die Aufnahme über verschiedene Geräte zu rezipieren, werden wir kaum viele potenzielle Nutzer und Nutzerinnen zufriedenstellen.

Welche Aufgaben übernimmt dabei das Fraunhofer FOKUS?

Der wichtigste Teil unserer Arbeit liegt im Bereich der möglichst verzögerungsfreien und hochqualitativen Übertragung: Wie schaffen wir es, die virtuellen Teilnehmer und Teilnehmerinnen umfassend zu erreichen und je nach Empfangs-Medium bestmögliche Qualität zu gewährleisten? Fast noch wichtiger aber sind die Fragen der Reduktion von Latenzen oder die Suche nach Lösungen, um so wenig Daten wie möglich übertragen zu müssen.

Zudem hadern Sie auch mit der Physik …

Nein, hadern würde ich das nicht nennen. Aber es ist tatsächlich so, dass für unser Projekt die Lichtgeschwindigkeit zu einem limitierenden Faktor geworden ist. Denn auch wenn wir die Latenz technisch auf ein paar Millisekunden senken können: Sobald Orte mehrere tausend Kilometer voneinander entfernt sind, stoßen wir auch an physikalische Grenzen.

Bei seinen Konzepten zur Übertragung setzt Ihr Fraunhofer FOKUS vor allem auf das Streaming-Format MPEG-DASH, warum?

Im Gegensatz zu dem Format HLS von Apple kann die damit verbundene Ende-zu-Ende-Lösung FAMIUM DASH auf unterschiedlichsten Plattformen eingesetzt werden. Insbesondere auf HbbTV, das nur MPEG-DASH für die Live- und On-Demand-Wiedergabe ermöglicht. Darüber hinaus ist MPEG-DASH viel flexibler als HLS, was die Verwendung neuer Codecs wie MPEG-H angeht.  Fraunhofer FOKUS hilft bei der Entwicklung des Open Source Players »dash.js« , der auf allen webbasierten Plattformen genutzt werden kann. Dash.js bietet eine breite Palette an Funktionalitäten, unter anderem auch Unterstützung für CMAF Low Latency Streaming zum Abspielen des CMAF basierten Videostroms des hybriden Konzerts.  

Es gibt bereits Tickets für Konzerte, die für 2024 geplant sind. Wie stehen meine Chancen, im Zweifel auch zu Hause zum Besucher zu werden?

Das hängt von vielen Faktoren ab und liegt nicht unbedingt in unserer Hand: Wir haben in Deutschland immer noch das Problem, dass an vielen Orten keine schnellen Internetanschlüsse zur Verfügung stehen. Ein Veranstaltungsort ohne einen vernünftigen Internetzugang kommt für das Streaming eines Konzertes nicht infrage. Teilweise betrifft dieses Geschwindigkeitsproblem natürlich auch die Zuschauerinnen und Zuschauer zuhause, denn auch hier muss die nötige Bandbreite vorliegen. Das Virtual-LiVe-System ist hingegen gar nicht so weit von einer Marktreife entfernt. Ob sich die angesprochenen Rahmenbedingungen bis 2024 an allen Veranstaltungsorten, die sich eine interaktive Übertragung wünschen, entsprechend verbessert haben, kann ich ihnen leider nicht beantworten.

(aku)