Mit dem Finger zeigt der oder die Qualitätsprüfer*in auf eine Stelle inmitten der edel glänzenden Klavierlack-Oberfläche und sagt: »Hier nacharbeiten. Der Lackauftrag entlang der Konturenkante ist zu dick. Bitte nochmals gemäß den Bauteilvorgaben abtragen lassen und die Fläche neu polieren. Anlage: Werkstück zurück zum Schleifroboter. Nächstes Werkstück«. Die Qualitätsprüfung ist damit beendet. So zügig und unproblematisch kann das ablaufen. 

Zumindest an dem Qualitätsprüfstand, den das gemeinsame Wissenschaftler*innenteam vom Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS und vom Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB zu Demonstrationszwecken eingerichtet haben. Aber ist dieses einfache Prozedere überhaupt vorzeigenswert? Wo doch ähnliche Prüfprozesse bei den Herstellern hochwertiger Produkte seit Jahrzehnten Alltag sind – bei Fahrzeugen der Premiumklasse etwa oder in der Endkontrolle von Möbeln und Designobjekten. Auch hier ist es üblich, dass Qualitätsmitarbeiter*innen mit ihren Augen und Händen jedes einzelne Stück umfassend und bis ins Detail prüfen. Zeigegesten und Sprachbefehle werden dabei allerdings kaum genutzt. Stattdessen dominiert die klassische Dokumentationsarbeit mit Stift und Papier. 

Eine Konsequenz ist, dass nach jedem festgestellten Mangel eine zeitraubende Arbeitsroutine folgen muss: Auf einem ausgedruckten Formular oder bestenfalls an der Displayanzeige eines Tablets muss der oder die Qualitätsprüfer*in jede Stelle einzeln markieren, bei der nachgearbeitet werden soll. Und er oder sie muss zusätzlich noch den jeweiligen Mangel schriftlich notieren und die gewünschten Nachbesserungsschritte beschreiben. »In einer Zeichnung, die das Prüfobjekt in stark verkleinertem Maßstab zeigt, eine kleine Fehlerstelle exakt zu markieren, ist in vielen Fällen viel zu ungenau«, beschreibt Michael Voit vom Fraunhofer IOSB die Situation. Deshalb komme es auch häufig zu Nachfragen durch die Mitarbeitenden, die die Nachbesserung ausführen sollen. »Das allein schon macht die Qualitätssicherungsprozesse ineffektiv. Dazu kommt noch ein hoher Aufwand, um Maschinen oder Bearbeitungsroboter für die spezifische Aufgabenstellung bei einer Nachbesserung neu einzustellen«, ergänzt Oliver Walter vom Fraunhofer IAIS.

Mit dem »Multimodalen Dialogassistenten (MuDA)« haben die Teams der beiden Wissenschaftler deshalb ein Unterstützungssystem entwickelt, das die Sichtprüfung in der Qualitätssicherung und deren Dokumentation erheblich effizienter und präziser macht. Das Projekt MuDA wurde vom Forschungszentrum Maschinelles Lernen FZML des Fraunhofer Cluster of Excellence Cognitive Internet Technologies CCIT gefördert. 

»Um eine Fehlerstelle zu markieren, muss der oder die Prüfende nur mit dem Finger darauf zeigen« Bild: Fraunhofer IOSB

Präzise Dokumentation per Zeigegeste

Technologische Basis des neuartigen Unterstützungssystems ist das von Forscher*innen am Fraunhofer IOSB entwickelte System »QSelect«, mit dem Fehler per Zeigegesten dokumentiert werden können. Dafür werden über dem Prüfplatz Kameras und ein Projektionssystem montiert. Ein eigens entwickeltes Programm registriert damit die Aktionen der Qualitätsprüfer*innen. »Um eine Fehlerstelle zu markieren, muss der oder die Prüfende nur mit dem Finger darauf zeigen«, erklärt Voit. Die Software bestimmt die genaue Position auf dem Prüfobjekt und dokumentiert sie als Markierung in einem Foto oder einer technischen Zeichnung. Die ermittelten Positionsdaten des Fehlers lassen sich zudem direkt in die Produktionssteuerung übernehmen, beispielsweise, um einen Bearbeitungsroboter für das Nachbessern eines Produktmangels automatisch zu steuern. Zusätzlich projiziert ein über dem Prüfplatz angebrachter Beamer Bedienungselemente direkt auf die Objektoberfläche. Auch für die weiteren Dokumentationsschritte muss sich der Prüfende also nicht vom Objekt abwenden, um an einem Bildschirm die nähere Beschreibung des Prüfungsergebnisses einzugeben. Er kann auch hier per Zeigegeste durch Auswahlmenüs navigieren und Annotationen vornehmen. »Das qualifizierte Ausführen dieser zusätzlichen Dokumentationsschritte per Zeigegeste hat allerdings Grenzen: Zum Beispiel bei glänzenden Lackoberflächen, auf denen die Projektion der Steuerungselemente schlecht sichtbar ist. Oder wenn es viele Kategorien und Unterkategorien zur Klassifizierung und Spezifizierung der möglichen Produktmängel gibt und die Navigation damit zu umständlich wird«, betont Voit. In Kooperation mit den Wissenschaftskollegen von Fraunhofer IAIS haben er und sein Team QSelect daher erweitert und zum Multimodalen Dialogassistenten weiterentwickelt.

Ein über dem Prüfplatz angebrachter Beamer projiziert zusätzlich Bedienungselemente direkt auf die ObjektoberflächeFür die weiteren Dokumentationsschritte muss sich der Prüfende also nicht vom Objekt abwenden, um an einem Bildschirm die nähere Beschreibung des Prüfungsergebnisses einzugeben. Bild: Fraunhofer IOSB

Sprache als Schnittstelle zur Technik

»Zusätzlich zur Positionsbestimmung und Fehlerklassifikation per Zeigegeste kann der oder die Prüfende nun auch einfach mit dem MuDA-System sprechen«, erklärt Walter. So könne er oder sie beispielsweise mit dem Finger auf die Fehlerstelle zeigen und dem System sagen: Hier ist der Fehler, bitte dokumentieren. Auch die detaillierte Einordnung und Beschreibung des Mangels kann nun per Sprachdialog erfolgen. Das Sprachassistenzsystem wertet die Aussagen des oder der Prüfenden aus und antwortet ihm oder ihr, was es verstanden hat beziehungsweise welche spezifische Fehlerbeschreibung es in der Dokumentation hinterlegt. Dafür setzt das MuDA-Team am Fraunhofer IAIS entwickelte und gut erprobte Speech-to-Text- und Text-to-Speech-Systeme basierend auf Künstlicher Intelligenz (KI) ein: Die KI- und Softwarelösungen zur Mensch-Maschine-Kommunikation sind unter anderem auch die Basis für die Sprachassistenzplattform für die deutsche Industrie, die das Fraunhofer IAIS mit weiteren Projektpartnern im Projekt »SPEAKER« aufbaut. Die konkreten Anwendungen, die aus SPEAKER entstehen, können Unternehmen künftig als »Allinga Sprachassistenzlösungen« beziehen.

Durch die Fusion der Kompetenzen und Systementwicklungen von Fraunhofer IAIS und Fraunhofer IOSB bietet MuDA den Prüfenden eine optimale Unterstützung bei der Qualitätssicherung und maximale Zeiteinsparung bei der Dokumentation. »Der multimodale Dialogassistent belegt zudem, dass Sprachassistenzsysteme nicht mehr nur Alltagshelfer im privaten Bereich sind, sondern gerade auch für die Effizienz- und Qualitätssteigerung in der Industrie großes Potenzial haben«, resümiert Walter.

(stw)