Dass sowohl Kameras als auch Radarsensoren das Verkehrsgeschehen rund um ein Fahrzeug kontinuierlich im Blick haben, ist bei den aktuellen Modellen der Fahrzeughersteller längst Standard. Die von diesen Sensorsystemen erfassten Daten sind die Entscheidungsgrundlage für Sicherheits- und Assistenzsysteme, von der Einparkhilfe bis  Notbremsfunktion. Beide Erfassungstechnologien haben ihre spezifischen Stärken, die sie je nach Assistenzfunktion ausspielen. Der »Radarblick« etwa kann die Entfernung von Objekten zuverlässig bestimmen und ist damit grundlegend für Autonomiefunktionen wie Einparken oder Einhalten des Sicherheitsabstandes zum vorausfahrenden Verkehr. Eine Kamera hingegen liefert hochaufgelöste Bilder mit präzisen Konturen. Daraus kann eine KI-basierte Bildauswertung beispielsweise Verkehrszeichen und Fahrbahnmarkierungen erkennen und so dem Fahrzeug die notwendigen Informationen zum selbstständigen Einhalten von Geschwindigkeitsbegrenzungen oder der Fahrspur liefern. »Sollen Fahrzeuge künftig aber auch komplexere Fahrsituationen, wie eine Fahrt über eine belebte Innenstadtkreuzung autonom sicher beherrschen, benötigen sie dafür eine umfassende Analyse des Verkehrsgeschehens sowohl von den Radarsensoren als auch von der Kamera. Und das muss nicht nur hochzuverlässig, sondern vor allem auch nahezu in Echtzeit passieren«, erklärt Bernd Schäufele vom Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS.

Hybridblick

Beim teilautomatisierten Fahren auf Autonomie-Level 2, wie es die derzeitigen Systeme bieten, bleibt der Fahrer in der Pflicht, die Aktionen seines Fahrzeugs durchgängig zu überwachen und bei Bedarf einzugreifen. Die Systeme selbst sind für wenige, klar definierte Situationen zuständig. Der Abstandsassistent etwa muss sich nicht um Verkehrszeichen oder Fahrbahnmarkierungen kümmern, sondern fokussiert sich voll auf den Abstand zum Vordermann. Der Umfang an zu verarbeitenden Informationen, die Kamera oder Radar an das System liefern, ist begrenzt. Bei Autonomie-Level 3 hingegen übernehmen die Elektroniksysteme die Steuerung des Fahrzeugs (zumindest zeitweise) komplett. Der Fahrer wird aus der Pflicht entlassen, den Verkehr rundum jederzeit im Blick zu haben. Das übernimmt nun die Maschine. Dafür ist allerdings eine wesentlich umfassendere Umfelderkennung notwendig, als sie die bisherigen Assistenzsysteme erfordern. »Um dies zu erreichen, müssen die Analysesysteme sowohl die Kamera- als auch die Radardaten in vollem Umfang nutzen und miteinander kombinieren können«, so Schäufele. Die derzeitige Sensorausstattung von Fahrzeugen sei dafür noch nicht ausreichend. Denn das Zusammenführen, Priorisieren und Auswerten und dieser Daten ist technisch weit problematischer als gedacht.

Radarsensoren beispielsweise sind im Bereich der Stoßfänger verbaut, die Kamera mittig hinter der Windschutzscheibe angebracht. Die Signale müssen also erst jeweils eine teils meterlange Kabelstrecke durchlaufen, bevor sie von einer Analysesoftware ausgewertet und »vereint« werden können. Die unterschiedlichen Laufzeiten führen dazu, dass die Daten nicht synchron eintreffen. Noch bevor also mit Auswertung und Fusion der Sensorinformation begonnen werden kann, muss der Bordrechner die Zeitverzögerungen bestimmen und herausrechnen. »Auch wenn solche zusätzlichen Rechenoperationen nur Bruchteile von Sekunden in Anspruch nehmen, können sie ein ausschlaggebender Faktor sein, ob es zu einem Unfall kommt oder nicht«, betont Schäufele. Lässt sich zum Beispiel die Reaktionszeit um nur 100 Millisekunden verkürzen, kommt das Fahrzeug bei einem Innenstadttempo von 50 km/h bereits eineinhalb Meter früher zum Stehen.

Im vom Bundesministerium für Bildung und Forschung geförderten Projekt »KameRAD« entwickelten Forscherinnen und Forscher vom Fraunhofer FOKUS gemeinsam mit Projektpartnern aus Industrie und Wissenschaft, wie dem Fraunhofer-Institut für Zuverlässigkeit und Mikrointegration IZM, deshalb ein kompaktes Elektroniksystem, das die Umfeldbeobachtung von Fahrzeugen erheblich beschleunigt.

Hochintegriertes System liefert Sensordaten schneller

Die technische Blaupause, die die Forscher*innen dafür entwickelten, ist so einfach wie wirkungsvoll: Das System greift die Signale direkt an den Sensoren ab und verarbeitet sie sofort »vor Ort«. Dafür sind Kamera und Radar unmittelbar nebeneinander in einem Gerät positioniert. In dem etwa handygroßen Modul ist zudem die Fusionsalgorithmik für die Low Level Zuordnung integriert. Die Low Level Fusion bringt den zweidimensionalen Bildstrom der Kamera mit den Tiefeninformationen des Radarsensors zeitlich synchron zusammen. Das Modul sendet das aufbereitete Gesamtsignal danach über eine Datenverbindung für die weiteren Analyseschritte an das Steuerungssystem des Fahrzeugs.

Multisensorsignal erleichtert Umfeldanalyse

Parallel dazu entwickelten die Forscher*innen auch Algorithmen und Verfahren, die eine schnellere Analyse der Sensorinformationen ermöglichen. So können nun etwa die Objektdetektion und die Berechnung von Entfernung und Geschwindigkeit des Objekts nahezu zeitgleich erfolgen. Erkennt die KI-gestützte Bildauswertung zum Beispiel einen Fahrradfahrer im Blickfeld der Kamera, nutzt das System die in dem fusionierten Sensorsignal bestehende Querverbindung zu den dazugehörigen Messdaten des Radars und kann dadurch sofort mit angeben, wie weit der Radfahrer entfernt ist und wie schnell er sich wohin bewegt.

Einen Prototyp des integrierten Radar-Kamera-Moduls haben die Projektpartner mittig hinter der Windschutzscheibe eines Versuchsfahrzeugs des Daimler Center for Automotive Information Technology (DCAITI) eingebaut. »Für die Auswertung der fusionierten Signale nutzten wir bei den Testfahrten im Berliner Straßenverkehr zudem noch einen im Innenraum des Fahrzeugs untergebrachten Forschungsrechner«, erklärt Schäufele. Die Analysesoftware sei aber bereits so konzipiert, dass sie sich direkt in künftige Autonomiesysteme der Fahrzeughersteller integrieren lassen. Ebenso ist es möglich, das kompakte Erfassungsmodul um weitere Sensoren zu erweitern. »Erweiterungen wie diese können die Umfelderkennung nochmals genauer machen. Die Integration der Sensorsysteme in unserem Modul stellt dabei sicher, dass auch dann die Ergebnisse der Datenerfassung und Auswertung ohne unnötigen Zeitverlust zur Verfügung stehen«, resümiert Schäufele.

(ted)