Endoskopie und Mikroskopie sind viel genutzte Standardverfahren - in der Medizin ebenso wie zur Sichtprüfung in der Industrie. Aktuelle 3D-Technologien ermöglichen sogar einen räumlichen Blick auf die Objekte. Damit Ärzte und Ingenieure von diesen Systemen in vollem Umfang profitieren können, müssen die generierten 3D-Ansichten exakt vermessbar sein und möglichst live übermittelt werden können. Forscher am Fraunhofer HHI haben nun ein Gesamtsystem vorgestellt, das die Bilder von 3D-Endoskopen und 3D-Mikroskopen hochgenau für Messaufgaben erfasst und perfekte Stereobilder ausgibt.

Am Kopf des Endoskops haben die Projektpartner auf engstem Raum ein Stereosystem mit zwei kleinen, leistungsfähigen Kameras installiert. Jede von ihnen liefert ein Bild in voller HD-Auflösung. Bis hierhin ist die Projektleistung nicht mehr und nicht weniger als die Übertragung des aktuellen technischen Fortschritts der Aufnahmetechnik auf den Bereich der Endoskopie. Für den Gesamterfolg des vom Bundeministerium für Wirtschaft und Energie geförderten Projekts »3DInMed« ist dieser Schritt allerdings grundlegend und beispielhaft für eine ganze Reihe entscheidender Weiterentwicklungen entlang der Systemkette für den Einsatz der Endoskopie in Industrie und Medizin. Die Projektpartner aus Forschung und Industrie hatten sich gemeinsam zum Ziel gesetzt, die Aufnahmen von Endoskop und Operationsmikroskop in Echtzeit als maßgenaue 3D-Ansichten darzustellen. Die Anforderungen dafür sind in der Praxis allerdings extrem hoch: »Um beispielsweise Chirurgen im Operationssaal zu unterstützen, muss die gesamte Kette von der Aufnahme bis zur Visualisierung maßgetreu und mit Latenzzeiten von insgesamt nicht mehr als 60 Millisekunden zuverlässig funktionieren. Und bei der Qualitätskontrolle in der Industrie ist eine hochexakte Vermessung der dargestellten Strukturen im Inneren eines Hohlkörpers unerlässlich«, erklärt Jean-Claude Rosenthal vom Fraunhofer-Institut für Nachrichtentechnik, Heinrich-Hertz-Institut, HHI.

Um dieses Ziel zu erreichen, entwickelten die Projektpartner Lösungen für alle drei Bearbeitungsstufen der 3D-Aufnahmen: Erstens rüsteten sie 3D-Endoskop und 3D-Mikroskop mit einem Kamerasystem aus, das hochaufgelöste Stereobilder liefert. Zweitens forschten sie nach neuen Verfahren zur Tiefenschätzung und Objekterkennung aus den Bildinformationen sowie zur Stereobildkorrektur. Und drittens entwickelten sie ein autostereoskopisches Displaysystem, das die Stereodaten perspektivisch korrekt für den Betrachter darstellen kann. Zusätzlich verknüpften sie alle Komponenten über eine Dateninfrastruktur, die 3D-Signale in Echtzeit übertragen und verarbeiten kann.

Endoskop- und Mikroskopsysteme für hochaufgelöste Stereobilder

Eine zentrale Rolle für die Verbesserungen der Qualität und der Weiterverarbeitungsmöglichkeiten von 3D-Aufnahmen spielt die Auswertung und die Nachbearbeitung der Bilder, die das Kamerasystem liefert. Prinzipiell wären diese Stereoaufnahmen auch mit einer Kamera und Prismentechnologie möglich. Dieser Ansatz würde jedoch die Auflösung der Bilder mindestens halbieren. Die Projektpartner Schölly und C.R.S. iiMotion statteten ihr Endoskopsystem daher mit zwei HD-Kameras aus. Erst dieser Ansatz ermöglicht den Forschern, die volle technisch erreichbare Aufnahmepräzision für die weitere Bearbeitung nutzen zu können.

In Kombination mit dem voll digitalen 3D-Mikroskop des Projektpartners ARRI Medical arbeiten Ärzte mit der »3DInMed«-Systemlösung auch an kleinsten Strukturen im Körper des Patienten präzise und sicher. Bild: ARRI Medical

Für den Einsatz der Mikroskopie im Operationssaal entwickelte der Projektpartner ARRI Medical das weltweit erste voll-digitale, hochauflösende Operationsmikroskop. Dank seiner Zoomfunktion können die Ärzte minimalinvasiv im Körper des Patienten auch an sehr kleinen Strukturen sicher navigieren und arbeiten.

Neue Verfahren zur Tiefeneinschätzung und Objekterkennung

Nicht nur das Aufnehmen an sich, auch die darauf aufbauende Bildauswertung und Bildkorrektur sind während einer Operation hochkomplex. Denn die Bedingungen, unter denen die Kameras arbeiten, sind äußerst schwer zu kontrollieren. Nicht nur das aufgenommene Objekt, beispielsweise ein Organ des Patienten, ist ständig in Bewegung. Auch die Lage des Endoskops und damit die Kameraposition ändert sich fortlaufend. Bei der Entwicklung einer entsprechenden Lösung konnten die Forscher zwar auf ihre Verfahren und Kompetenzen aus anderen Anwendungsbereichen zurückgreifen. Leistungsfähige Methoden zur Stereobildkorrektur sind beispielsweise eine Basistechnologie bei der Produktion von Kinofilmen in 3D. »Im Gegensatz zur Live-Unterstützung des Arztes im Operationssaal, spielt es bei der Postproduktion eines Kinofilmes aber keine entscheidende Rolle, ob die Bildkorrektur nur Bruchteile einer Sekunde oder einige Minuten oder Stunden dauert«, sagt Rosenthal. Im Medizinbereich jedoch muss die gesamte Bildauswertung und -korrektur in Echtzeit ablaufen und gleichzeitig hochzuverlässige Ergebnisse liefern. Die Forscher von Fraunhofer HHI und des Fraunhofer-Instituts für Integrierte Schaltungen IIS entwickelten deshalb gemeinsam mit den Projektpartnern neben leistungsfähigen Algorithmen für die Bildkorrektur auch robuste und echtzeitfähige Verfahren zur Tiefenschätzung, Objekterkennung und zur Generierung von 3D Panoramen. Der Projektpartner Solectrix übernahm die Aufgabe, alle Einzelkomponenten des Systems über hochleistungsfähige Übertragungsstrecken miteinander zu verknüpfen und so eine latenzfreie Übertragung und Verarbeitung der 3D-Signale zu ermöglichen.

Die »3DInMed« Forschungspartner haben ein Gesamtsystem vorgestellt, das die Bilder von 3D-Endoskopen und 3D-Mikroskopen hochgenau für Messaufgaben erfasst und perfekte Stereobilder ausgibt. Bild: Fraunhofer HHI

Autostereoskopisches Displaysystem

Für die latenzfreie Anzeige der 3D-Bilder medizinischer Aufnahmen oder dem Innenleben von Hohlkörpern in der Industrie setzen die Projektpartner ein neu entwickeltes autostereoskopisches Bildschirmsystem ein. Das 32 Zoll große, intelligente Single-User-Display wurde vom Projektpartner SeeFront entwickelt und ist mit einem Eyetracker ausgestattet. Diese Kamera verfolgt kontinuierlich Position und Blickwinkel der Augen des Betrachters und passt die Bilddarstellung nahezu zeitglich an. Für das räumliche Erleben der Stereobilder sowie der 3D-Panoramen ist damit keine lästige Polarisationsbrille wie etwa im Kino mehr erforderlich.

Für die 3D-InMed Gesamtlösung haben die sieben Projektpartner ihre jeweiligen Technologiekompetenzen gebündelt. Gemeinsam konnten sie so in dem Kooperationsprojekt die technologischen Voraussetzungen schaffen, dass etwa Chirurgen 3D-Endoskopie und 3D-Mikroskopie nutzen können, um anhand der räumlichen Live-Darstellung während einer Operation im Inneren des Patienten einfacher zu navigieren sowie Lage und Größe von Objekten exakt einschätzen zu können. (stw)

---

Im Oktober findet »3IT SUMMIT« am Fraunhofer HHI in Berlin statt, eine Abschlussverantstaltung zum Thema 3D-InMed. Weitere Informationen finden Sie hier.

Keine Kommentare vorhanden

Das Kommentarfeld darf nicht leer sein
Bitte einen Namen angeben
Bitte valide E-Mail-Adresse angeben
Sicherheits-Check:
Fünf + = 11
Bitte Zahl eintragen!
image description
Experte
Alle anzeigen
Jean-Claude Rosenthal
  • Fraunhofer-Institut für Nachrichtentechnik Heinrich-Hertz-Institut HHI
Weitere Artikel
Alle anzeigen
Ins Auge gefasst
Umfassendes Krankheitsmodell
Bestmögliche Behandlung
Stellenangebote
Alle anzeigen