Von Audi über Tesla bis VW, alle renommierten Fahrzeughersteller bieten für ihre Neuwagen ein System zur Verkehrsschild-Erkennung an. Eine der dafür verwendeten Techniken funktioniert zum Beispiel so: Erst erfasst eine mittig hinter der Windschutzscheibe positionierte Kamera kontinuierlich die Fahrstrecke. Dann sucht eine Bilderkennungssoftware in dem Bilderstrom nach den Anzeichen für Verkehrszeichen und Schilderbrücken. Und schließlich werden diese erkannt, also den optischen Merkmalen von Referenzbildern zugeordnet. Soweit, so gut, so (teilweise) unausgereift. In einem Praxistest der »AUTO ZEITUNG« zeigte sich, dass die derzeit von den Herstellern eingesetzten Technologien nur zwischen 35 und 95 Prozent der rund 20 Millionen in Deutschland aufgestellten Verkehrsschilder korrekt erkennen. Vor allem bei abgeklebten Verkehrsschildern im Bereich von Baustellen funktionieren die Bildanalysealgorithmen oft nur mangelhaft. »Unzureichend sind solche Ergebnisse natürlich vor allem dann, wenn die Systeme nicht nur den Fahrer unterstützen, sondern dem Fahrzeug später auch über lange Strecken ein autonomes Fahren ermöglichen sollen«, betont Lukas Pink vom Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS.

Wie sich die kamerabasierte Erkennung von Verkehrszeichen soweit verbessern lässt, dass sie auch die Zuverlässigkeitsanforderungen des hoch- und vollautomatisierten Fahrens erfüllt, erforschte das Fraunhofer IAIS gemeinsam mit Partnern aus Wissenschaft und Industrie. Im vom Bundesministerium für Wirtschaft und Energie (BMWi) geförderten Projekt »AutoConstruct« entwickelten und erprobten die Forscher neue Technologien, die ein nahezu echtzeitfähiges Erkennen und Verstehen komplexer Beschilderungen sicherstellen.

Schnelle und präzise Bildauswertung

Ein Schwerpunkt dabei: Das zuverlässige Erkennen der Hinweistafeln im Baustellenbereich. Dank der vom Fraunhofer IAIS entwickelten Analysemethoden erkennen Systeme Verkehrszeichen nun auch in komplexen Situationen zuverlässig. »Durch eine Optimierung der Algorithmen haben wir erreicht, dass diese trotz Bildstörungen wie Lichtspiegelungen oder das Pulsieren von LED-Anzeigen die entscheidenden Informationen in den meisten Fällen dennoch aus den Kamerabildern herausrechnen können. Zudem reichen nun bereits fünf Einzelbilder aus, um ein Verkehrsschild eindeutig zu erfassen«, erklärt Pink. Was das bedeutet, lässt sich durch eine einfache Rechnung verdeutlichen. Da eine Frontkamera im Fahrzeug 30 Bilder pro Sekunde liefert, stehen bei einem Fahrtempo von 130 km/h bereits nach etwa sechs Metern, in denen ein Verkehrszeichen im Blickfeld der Kamera ist, die notwendigen Informationen zur Verfügung.

Mit Deep Learning besser verstehen

Einen zweiten Forschungs- und Entwicklungsschwerpunkt bildeten neuartige Methoden zur semantischen Deutung der in den Kamerabildern gefundenen Verkehrszeichen, die insbesondere auch zwischen geltenden und durch Überklebung ungültig gemachten Schildern fehlerfrei unterscheiden können. Kern der dafür eingesetzten Analysemethoden sind die neuronalen Netze einer KI, die mit Hilfe von Deep Learning trainiert wurden. Die Forscherinnen und Forscher nutzten dafür eine umfassende Sammlung von Referenzbildern aller Verkehrszeichen, die auf einer deutschen Autobahn generell und insbesondere im Bereich einer Baustellensituation vorkommen können. Diesen Bilder-Satz ergänzten sie durch Hunderte von Beispielfotos von auf verschiedenste Weise überklebten Schildern. Für das Deep Learning musste jedes dieser verfremdeten Bilder zudem mit exakten Erklärungen gelabelt werden. »Diese zeitraubenden Vorarbeiten sind die Grundlage dafür, dass eine KI nicht nur das idealtypische Verkehrszeichen fehlerfrei erkennt, sondern auch Abweichungen und durch Überklebungen ungültige Schilder«, betont Pink.

Weniger Rechenzeit bei geringem Stromverbrauch

Bei der Verkehrszeichen-Erkennung kommt es nicht nur auf Treffsicherheit an, sondern auch auf die Geschwindigkeit. Obwohl die Auswertung der Bildinhalte und die semantische Deutung der Beschilderungen rechenintensiv ist, muss das Ergebnis nahezu in Echtzeit vorliegen. »Außerdem muss das System beim Einsatz in einem Fahrzeug auch möglichst stromsparend arbeiten«, erklärt Pink. Um Rechengeschwindigkeit und Energieverbrauch optimal zu gestalten, entwickelte und testete das Team zwei Verfahren. Das erste benötigt nur einen einzigen Arbeitsschritt. Die Erkennungsalgorithmen durchsuchen dabei das gesamte Kamerabild aus dem Fahrzeugcockpit und analysieren jedes gefundene Objekt sofort. Der zweite Ansatz arbeitet nach einem zweistufigen System. Zuerst detektiert ein Softwarewerkzeug im Kamerabild alle Objekte, die ein Verkehrsschild darstellen könnten und schneidet diese Bildpartien aus. Jeden dieser Ausschnitte schickt das System dann zum Erkennungsalgorithmus, der im Abgleich mit der Referenzdatenbank dann die Bedeutung der Objekte analysiert. »Im Praxisvergleich der Verfahren hat sich gezeigt, dass beide ausreichend schnell sind. Das zweistufige Verfahren allerdings bei deutlich geringerem Rechenaufwand und damit weniger Stromverbrauch«, betont Pink. Die Erklärung dafür: Die besonders rechenintensiven Bewertungsalgorithmen arbeiten beim zweistufigen Verfahren lediglich auf den Pixelflächen von Bildausschnitten, während sie beim einstufigen Verfahren über alle Pixel der Gesamtkameraoptik angewendet werden.

Technologieimpulse für die Forschungscommunity

Die einzelnen Technologielösungen setzten die Projektpartner als integrierte Gesamtlösung prototypisch in einem Fahrzeug um und absolvierten damit erste Praxistests. Die Ergebnisse zeigten, dass damit eine Verkehrszeichenerkennung möglich ist, die selbst komplexe Situationen mit vielen verschiedenen temporären Beschilderungen sowie verschiedenste Überklebungen in Sekundenbruchteilen und mit hoher Treffsicherheit erkennen und zutreffend bewerten kann. »Die prototypischen Lösungen unserer Forschungen können den Entwicklerinnen und Entwicklern von Assistenzsystemen in den kommenden Jahren als wichtige Benchmark dienen, um die Performance ihrer Systeme weiter zu steigern«, resümiert Pink.

(stw)