Eine kleine Arretierung, die beim Werkzeugwechsel übersehen wurde, reicht. Der*die Bediener*in aktiviert den Startknopf und setzt damit die Maschine in Gang. Nur Sekunden darauf stoppt diese abrupt. Das Display meldet einen schwerwiegenden Maschinenschaden. Die Produktion steht still bis der Service des Herstellers zur Reparatur vor Ort sein kann. »Ein Assistenzsystem, wie wir es im Projekt »SLEM« gemeinsam mit den IT-Spezialisten SABO Mobile IT und dem Data-Science-Unternehmen Knowtion sowie Anwendungspartner*innen der Maschinenbauindustrie entwickeln, könnte solchen Situationen vorbeugen«, sagt Timo Leitritz vom Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA. Es soll zum Beispiel einen kurzen Hinweis anzeigen können, der darauf verweist, dass der*die Bedienende das Setzen der Arretierung noch nicht ausgeführt hat. Oder es leitet mittels einer Schritt-für-Schritt-Anleitung durch die vorzunehmenden Arbeitsabläufe. 

Geht es nach den Planungen der Entwickler*innen, soll SLEM sowohl erfahrene Bediener*innen vor Routinefehlern schützen als auch unerfahrene Arbeiter*innen die Einarbeitung an einem für sie neuen Mensch-Maschine-Arbeitsplatz erleichtern. Zusätzlich sollen Produktionsmitarbeiter*innen dank SLEM Wartungsarbeiten und Umrüstungen an den Maschinen selbst vornehmen können – ohne dass sie die Technikabteilung oder den Support des oder der Hersteller*in zu Rate ziehen müssen. »Dafür aber muss das System »verstehen«, welche Tätigkeiten ein*e Bediener*in in verschiedensten Arbeitssituationen üblicherweise ausführt«, sagt Leitritz. Nur so könne SLEM später automatisch die Ausführung der Routinen durch Menschen überwachen oder neue User*innen »anlernen«.

Die Künstliche Intelligenz von SLEM erkennt selbsttätig die Aktivitäten der Maschinenbedienerinnen und den Status der Maschine. Bild: Fraunhofer IPA

KI hat Mensch und Maschine im Blick

Um SLEM die dafür nötige »Expertise« anzutrainieren, setzen Leitritz und sein Team ein aus drei Komponenten bestehendes Analysesystem ein. Aufgabe der ersten Komponente ist das »Menschverstehen«, also das Erfassen und Bewerten der Aktivitäten, die der*die Bedienende an ihr ausführt. Am Maschinenarbeitsplatz werden dazu Farbkameras so positioniert, dass sie Körperhaltung sowie Kopf-, Arm- und Handbewegungen der Arbeiter*innen erfassen. Der Videostrom dient dann als Datenbasis für eine KI, die zunächst die Körperbewegungen erkennt und daraus Aktivitäten der agierenden Person ableitet und klassifiziert.

Parallel dazu arbeitet die zweite Komponente, deren Zuständigkeit das »Maschinenverstehen« ist. Über eine Schnittstelle zur Maschinenelektronik erhält sie laufend die relevanten Parameter vom Steuerungssystem, von Sensoren oder von der Leistungselektronik. Durch Auswertung dieser Rohdaten kann die KI der Analysekomponente dann den aktuellen Maschinenstatus ableiten: Wird gerade ein Werkstück bearbeitet? Oder ist der laufende Arbeitsprozess aufgrund eines Fehlers unterbrochen? Ist die Tür zur Maschine geöffnet? 

Die dritte Komponente ist die zentrale SLEM-Einheit. Sie fusioniert die Ergebnisse des »Menschverstehens« und des »Maschinenverstehens« und kennt zu jedem Zeitpunkt sowohl den Zustand der Maschine als auch die Aktivitäten der sie bedienenden Person. 

Bevor SLEM aber nun selbsttätig entscheiden kann, ob eine Bediener*innenaktion korrekt ist, müssen die KIs des Systems trainiert werden. »Um die Flexibilität des Systems zu erhöhen und nicht für jeden neuen Maschinenanwendungsfall durch einen Experten einen neuen Datensatz erstellen zu müssen, wollen wir die Anlernphase auch durch Laien direkt an der Maschine ermöglichen«, erklärt Leitritz. Möglich werde dies durch einen speziellen Selbstlernprozess, bei dem die Nutzer*innen der Maschine nach dem Durchführen seiner*ihrer Aktivitäten automatisch um ein Feedback gebeten wird. Dadurch lässt sich das System mit geringem Aufwand auf neue Prozesse anpassen. Zusätzlich können Methoden, wie Augmentierung, die Anlernphase des Systems verkürzen: Dabei werden vorhandene Trainingsdaten mehrfach variiert. Beispielsweise wird die erfasste Körperpose zufällig um wenige Zentimeter abgeändert. Der KI stehen damit zusätzliche Lerndaten zur Verfügung. 

Bei der D2UNA-Methode nutzen Expert*innen unter anderem Eye-Tracking-Aufnahmen, um Maschinenarbeitsplätze nutzerzentriert zu optimieren. Bild: Fraunhofer IPA

Hilfe nach Bedarf von Maschine und Mensch

Die zentrale SLEM-Einheit übernimmt auch den Part der »Selbsterklärenden Maschine«. Sie entscheidet also, welche Unterstützung das System den jeweiligen Bediener*innen in der aktuellen Arbeitssituation anbietet. Die Entwickler*innen haben mehrere Konzepte erarbeitet, welche eine Vielzahl an Interaktionsmöglichkeiten zwischen Mensch und Maschine nutzen – von der blinkenden Leuchte, über Warnungen mittels eines Vibrationsarmbandes, bis zum akustischen Signal. Besonders wichtig für das System ist aber das Maschinendisplay, welches als Haupt-User-Interface für SLEM dient. Stellt SLEM eine Fehlbedienung fest, erhält der*die Bedienende beispielsweise eine Anleitung, wie die Arbeit Schritt für Schritt richtig ausgeführt werden sollte. »Unser System passt die am Bildschirm gezeigten Informationen dabei nicht nur an die augenblicklich ausgeführte Tätigkeit an, sondern auch an den Erfahrungs- und Wissensstand der Person, die die Maschine gerade bedient«, betont Leitritz. Das Assistenzsystem bietet dafür verschiedene Unterstützungsniveaus an. Bevor der*die Bediener*in an einer Maschine mit SLEM-Assistenz zu arbeiten beginnt, wählt er am Display die von ihm gewünschte Unterstützungsstufe aus. 

Arbeitsunterstützung menschenzentriert gestalten

Woher aber weiß das SLEM-System, welche Unterstützung es in welcher Situation anbieten soll, um die Arbeit an einer Maschine zu erleichtern? Was sich Anfänger*innen und was sich ein Profi an Hinweisen und Tipps wünscht? Weil SLEM Fragen wie diese nicht selbst beantworten kann, nutzen die Entwickler*innen »D²UNA«. Dieses am Fraunhofer IPA entwickelte Verfahren ist in der Lage, einzelne Bedürfnisse von Menschen an einem Maschinenarbeitsplatz zu erkennen und ihre Intensität zu bewerten. 

»In der Regel nutzen wir D²UNA, um in einem Unternehmen spezifische Arbeitsplätze menschzentriert zu optimieren und so die Arbeitsqualität mit Fokus auf die Arbeiterinnen und Arbeiter zu erhöhen«, erklärt Martina Köhler vom Fraunhofer IPA. Ein Team vom Fraunhofer IPA kommt dazu mit einer »D²UNA Toolbox« in den Betrieb. Darin enthalten sind unter anderem Kameras, um die Interaktion zwischen Mensch und Maschine zu dokumentieren. Parallel dazu werden die Maschinendaten ausgelesen und aufgezeichnet. »Dieses gesamte Procedere wird nun mehrmals wiederholt – für verschiedene Arbeitsabläufe an der Maschine und mit unterschiedlich erfahrenen Bedienerinnen und Bedienern«, erklärt Köhler. Sie tragen dabei eine Brille mit integriertem Eyetracking. Zudem sind sie aufgefordert, ihre Aktionen an der Maschine laut zu kommentieren, also deutlich anzusprechen, wenn sie eine Displayanzeige nicht sofort verstehen oder Materialbehälter schlecht erreichbar sind. Die Daten von Kameras, Eyetracking, Audioaufnahmen und Maschinenparametern ergeben eine Gesamtsicht, anhand derer sich ungünstige Arbeitsabläufe und die Bedürfnisse der Arbeiter*innen sehr detailliert analysieren und bewerten lassen. 

Auch für das SLEM-Projekt führten Köhler und ihr Team das D²UNA-Verfahren durch. Im Mittelpunkt stand dabei aber, wie Maschinenbediener*innen mit unterschiedlichem Erfahrungshorizont in verschiedenen Arbeitssituationen optimal unterstützt werden können. Sei es durch Warnungen oder kurze Displayhinweise. Oder mit ausführlicheren Schritt-für-Schritt-Anleitungen. 

»Die Ergebnisse wurden für SLEM genutzt, um seine Assistenz so zu gestalten, dass sie den Menschen an der Maschine effektive Hilfeleistungen anbietet«, resümiert Leitritz. Erst der Einsatz von D²UNA habe es ermöglicht, die unterschiedlichen Bedürfnisse von Bediener*innen entsprechend zu berücksichtigen.

(stw)