Die Frage nach dem »Wo bin ich« lässt sich mit Hilfe moderner Ortungstechnik relativ leicht beantworten. Für Techniken der Virtual Reality, bei denen sich Probanden frei im Raum bewegen, ist es aber mindestens ebenso wichtig zu wissen, wohin der Blick gerichtet ist. Auf dem Holodeck 4.0 des Fraunhofer IIS in Nürnberg wird dieses Problem mit Hilfe des Maschinellen Lernens gelöst. Im Interview erklärt Gruppenleiter Dr.-Ing. Christopher Mutschler, warum das Erfassen der Kopforientierung so komplex ist und wie die Forscher vorgegangen sind.

Hallo Herr Mutschler, ich gehe davon aus, dass man kein Fan der Serie Star Trek – The Next Generation sein muss, um Ihr Holodeck zu betreten?

Zumal wir uns auf unserem Holodeck 4.0 hier beim Fraunhofer-Institut für Integrierte Schaltungen IIS auch nicht mit der fernen Zukunft beschäftigen, sondern Interessenten bei der Entwicklung sehr konkreter Projekte unterstützen. Für Bereiche wie Produktion und Logistik, für die Architektur und Stadtplanung, für den Bereich Healthcare und natürlich auch für den Bereich Information und Unterhaltung bieten wir die Möglichkeit, sich in einen virtuellen Raum zu »beamen« und dort mit zu bis zu 100 anderen realen Personen zu interagieren.

Das Holodeck 4.0 umfasst rund 1.400 Quadratmeter. Industrieplaner können beispielsweise Fertigungslinien konzipieren und sich in dieser Halle mit virtuellen Kisten und laufenden Fertigungsbändern frei bewegen. Es ist also ein wenig so, als würden Sie eine begehbare Simulation anbieten.

Richtig. Alles, was Interessenten tun müssen, ist sich eine entsprechende Brille aufzusetzen, um zu sehen, was virtuell vorhanden ist und wohin sie sich bewegen.

Den Rest machen Sie?

Nein, so einfach ist es nicht. Natürlich müssen auch entsprechende Programme im Hintergrund laufen. Meine Aufgabe ist unter anderem das Tracking, also das Lokalisierungssystem. Denn der Computer muss ja wissen, wo Sie sind.

Allerdings nicht nur das …

Genau. Die Positionierung an sich ist dank moderner Lokalisierungstechnik das kleinere Problem. Aber wir müssen auch wissen, wohin Sie blicken und wie Sie ihren Kopf halten. Das zu ermitteln ist allerdings nicht so einfach wie es scheint.

Aber das schafft in der Regel jedes VR Headset. Hier sind entsprechende Sensoren verbaut, so dass jede Kopfbewegung und -haltung erkannt wird. Kenne ich die ursprüngliche Orientierung, lässt sich Orientierung relativ dazu berechnen und die Projektion entsprechend anpassen.

Das funktioniert auch. Aber eben nur bis zu einem gewissen Punkt. Denn wie Sie schon sagen: es wird immer nur die relative Orientierung berechnet, nie aber die absolute Orientierung gemessen. Leichte Ungenauigkeiten bei bestimmten Bewegungsrichtungen summieren sich also und Sie haben kein Korrektiv. Bei VR-Spielen beispielsweise ist das kein Problem, weil Sie in der Regel auf dem Sofa sitzen und nur in eine Hauptrichtung – zum Fernseher oder Monitor sehen. Aber es könnte schwierig werden, wenn Sie sich nun länger und ein paar Dutzend Meter durch den Raum bewegen müssten, wie wir es auf dem Holodeck anbieten.

Wie gehen Sie vor?

Stellen Sie sich eine Wasserwaage auf einem Tisch vor. Wenn Sie sie nun leicht schräg halten, steigt die Wasserblase im Sichtfenster in der Mitte nach oben. Ähnliches passiert, wenn Sie die Wasserwaage kippen. Diese beiden Parameter, die man »pitch« und »roll« nennt, können wir ermitteln: Mit einem Kopfsensor mit Initialsensorik, die kleinste Erschütterungen, wie die Erdbeschleunigung oder Drehungen registriert, messen wir, wenn und wie weit ein Brillenträger nach oben oder unten sieht und wie weit er den Kopf auf die Schulter legt.

Was aber fehlt ist die exakte Blickrichtung?

Genau. Und hier haben wir das Problem: Denn was sehen Sie, wenn Sie die Wasserwaage in Drehung versetzen – sie also entlang der »yaw«-Achse drehen? Die Blase wird sich nicht vom Fleck rühren! Entsprechend schwer beziehungsweise unmöglich ist es für die Initialsensoren, zuverlässig zu bestimmen, wohin der Brillenträger den Kopf dreht. Das wäre zwar außerhalb unserer Halle messbar, wenn wir Sensoren einsetzen, die das Magnetfeld der Erde nutzen. Diese aber funktionieren in einer Halle mit metallischen Gegenstände nicht.

Sie müssen also indirekt arbeiten?

Genau. Wir haben ja zum einen die Signale der Beschleunigungssensoren. Und zum anderen verwenden wir zusätzlich noch die Signale eines ebenfalls verbauten Gyroskops, also eines Kreiselinstruments, mit dem die Drehimpulse des Kopfs gemessen werden. Wir wissen damit also nicht nur, in welche Richtung sich der Proband bewegt und wie er seinen Kopf hält, sondern – dank des Gyroskops nun auch - wie sein Kopf im Verhältnis zum Körper relativ bewegt wurde. Dabei entstehen typische Datensätze. Dank maschinellen Lernens erkennt unser System darin nun unterschiedlichsten Muster und kann Rückschlüsse auf die tatsächliche Kopforientierung ziehen.

Es kann also, anhand seiner »Erfahrungen« beziehungsweise der von Ihnen durchgeführten Trainings die Orientierung des Kopfes errechnen?

Ja. Wir ermitteln so die absolute Orientierung und sind nicht mehr auf fehleranfällige, indirekte Berechnungen angewiesen.

Wie aufwändig sind die Trainings dafür?

Wir haben fast 50 Probanden gebeten, sich auf dem Holodeck mit unterschiedlichen Kopforientierungen zu bewegen. Neben den »normalen Daten« der Initialsensoren und des Gyroskops haben wir zusätzlich noch deren Kopforientierung mit Hilfe von Beobachtern beziehungsweise Zusatzmessungen festgehalten, um Refererenzdaten zu ermitteln. So hatten wir rund acht Stunden Bewegungsdaten zur tatsächlichen Kopforientierung, mit der wie die späteren Berechnungen der KI sukzessive verbessern konnten. 

Wie genau können Sie die Kopforientierung ermitteln?

Maschinelles Lernen ist keine geeignete Methode, um hier 100 Prozent zu erreichen. Das ist in unserem Fall auch nicht nötig. Aber die Berechnungen sind so exakt, dass sie für jeden, der das Holodeck 4.0 nutzen will, die Illusion perfekt machen.

 (aku)

Keine Kommentare vorhanden

Das Kommentarfeld darf nicht leer sein
Bitte einen Namen angeben
Bitte valide E-Mail-Adresse angeben
Sicherheits-Check:
Neun + = 11
Bitte Zahl eintragen!
image description
Interviewpartner
Alle anzeigen
Dr. Christopher Mutschler
  • Fraunhofer-Institut für Integrierte Schaltungen IIS
Weitere Artikel
Alle anzeigen
Fest im Griff mit maschinellem Lernen
Agenten im Dienste der Medizin
Wenn Computer hören lernen 
Stellenangebote
Alle anzeigen