Ein Beispiel dafür, was Künstliche Intelligenz leisten kann (oder auch nicht), sind Bewerbungsverfahren. Ohne eine KI orientieren sich Personalverantwortliche meist an »Klassikern« wie Noten und Erfahrungsnachweisen. Wer also keinen idealtypischen Lebenslauf vorzuweisen hat, wird meist eine Absage erhalten, obwohl er oder sie die ausgeschriebene Stelle vielleicht professionell und in individueller Weise ausfüllen würde. Denn: Recruiter*innen fehlt meist die Zeit, aus Hunderten eingegangener Bewerbungen eine differenzierte Auswahl zu treffen. Für KI-Systeme hingegen ist es kein Problem, sämtliche Dokumente schnell und gründlich zu durchforsten. Und sie können dabei eine Vielzahl an Kriterien berücksichtigen, die zur Stelle und zum Unternehmen passen. Allerdings hat der KI-Einsatz in den vergangenen Jahren gezeigt, dass die automatisierte (Vor-)Auswahl auch gründlich schiefgehen kann. Bei einem weltweit erfolgreichen Digitalunternehmen beispielsweise wurde die für die Auswahl der Bewerber*innen eingesetzte KI anhand erfolgreicher Bewerbungen aus dem Firmenarchiv trainiert. Das System hatte deshalb zwar durchweg vielversprechende Bewerbungen gefunden, dabei allerdings fast nur Männer berücksichtigt. Weibliche und diverse Bewerber*innen hatten bei der Auswahl-KI kaum eine Chance – obwohl sich viele geeignete Kandidat*innen beworben hatten. Der Grund: Weil die Trainingsdaten noch aus der Zeit stammten, als die IT-Berufe weitgehend eine Männerdomäne waren, kam die KI zu dem irrigen Schluss, dass es im Sinne des Unternehmens sei, männliche Bewerber zu bevorzugen. Glücklicherweise bemerkten die Systementwickler*innen den misslungenen Machine-Learning-Prozess noch während der Testphase. Die falsch trainierte KI wurde deshalb nie für tatsächliche Auswahlverfahren in Unternehmen eingesetzt. »Das Beispiel der KI, die gelernt hat, einzelne Personen oder gar Personengruppen zu ignorieren, zeigt: Bei einer KI, die in einem sensiblen Anwendungskontext eingesetzt werden soll, ist es unverzichtbar, ihr Verhalten sehr genau und umfassend zu beobachten und zu prüfen«, betont Maximilian Poretschkin vom Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS. Das Problem, das sich KI-Entwickler*innen dabei stellt, sei derzeit noch sowohl das »Ob« (geprüft werden solle) als auch das »Wie« (geprüft werden könne). Für viele der aktuellen KI-Techniken müssen entsprechende praxistaugliche Prüfmethoden und Testwerkzeuge bedarfsabhängig entwickelt werden. Herkömmliche Verfahren zum Softwaretesten greifen oft zu kurz – allein schon deshalb, weil das Verhalten des intelligenten Systems keinen festen, vorab programmierten Regeln folgt. Vielmehr erzeugt die KI ihre Bewertungskriterien und Auswahlregeln oftmals selbstständig und erst während des Trainingsprozesses.

Qualität und Vertrauenswürdigkeit von KI

Um – insbesondere in sensiblen Anwendungsfällen – die dringend nötige Qualitätsprüfung und sogar eine Zertifizierung zu ermöglichen, hat das Fraunhofer IAIS gemeinsam mit dem Bundesamt für Sicherheit in der Informationstechnik BSI und dem Deutschen Institut für Normung DIN sowie weiteren Partnern aus Wissenschaft und Industrie das Vorhaben »ZERTIFIZIERTE KI« ins Leben gerufen. Das Flaggschiff-Projekt wird vom Ministerium für Wirtschaft, Innovation, Digitalisierung und Energie des Landes Nordrhein-Westfalen im Rahmen der Kompetenzplattform KI.NRW gefördert. »Ziel ist es, Entwickler*innen dabei zu unterstützen, ihre Systeme der Künstlichen Intelligenz sicher zu gestalten. Und wir wollen Unternehmen und Nutzer*innen von KI-Anwendungen den Weg ebnen, die Vertrauenswürdigkeit der Arbeit der komplexen Systeme einschätzen zu können«, erklärt Poretschkin. In dem Projekt entwickeln und testen die Forscher*innen deshalb grundlegende Kriterien und Methoden für Standards und Zertifizierungsverfahren für Künstliche Intelligenz. Die Qualitätsanforderungen hängen dabei vom jeweiligen Anwendungsbereich der KI ab. Ausgangspunkt ist daher immer eine umfassende Risikoanalyse, basierend auf sechs Dimensionen zur Vertrauenswürdigkeit Künstlicher Intelligenz.

Die sechs Risikodimensionen von KI

»Der Einsatz einer KI kann sich aus unterschiedlichsten Gründen als problematisch erweisen. Entsprechend verschieden können auch die Konsequenzen sein«, betont Poretschkin. Um ein mögliches Gefährdungspotenzial einer KI treffend einschätzen zu können, hat das Forscher*innenteam sechs Dimensionen für die Vertrauenswürdigkeit von KI definiert: »Fairness«, »Transparenz«, »Autonomie und Kontrolle«, »Verlässlichkeit«, »Sicherheit« und »Datenschutz«. Die »Fairness« sollte zum Beispiel immer dann nachgewiesen werden können, wenn Künstliche Intelligenz personenbezogene Daten analysiert, kombiniert, aufbereitet, bewertet und auf dieser Basis Entscheidungen trifft, die für die Betroffenen wesentliche Konsequenzen haben können. »Diskriminiert eine KI im Bewerbungsprozess oder bei einer Kreditvergabe verschiedene Personen und Personengruppen aufgrund persönlicher Daten ungerechtfertigt, werden gesellschaftliche Werte und möglicherweise geltendes Recht verletzt«, sagt Poretschkin. Ebenso essenziell sei in diesem Fall auch das Kriterium »Transparenz«. Es müsse entsprechend des Einsatzgebietes nachvollzogen werden können, wie die KI zu ihren Ergebnissen kommt.
Andererseits, so Poretschkin, gebe es aber auch viele KI-Anwendungen, bei denen es schlicht kaum eine Rolle spielt, wie fair oder transparent eine Software agiert: »Wenn eine KI fehlerhaft arbeitet, die meine handschriftlichen Anmerkungen auf dem Tablet-Display in Druckschrift übersetzt, geht üblicherweise davon keine Gefährdung aus. Das System wird allenfalls am Markt nicht erfolgreich sein.«
Wie unterschiedlich die Anforderungen an eine KI (und damit auch an ihre Zertifizierung) sein können, damit ihre Arbeit als hochwertig, sinnvoll und zuverlässig gelten kann, zeigt auch die Risikodimension »Autonomie und Kontrolle«. Beim Autonomen Fahren etwa wird KI eigenverantwortlich entscheiden und handeln müssen, um zum Beispiel in einer Gefahrensituation eine Vollbremsung automatisch ausführen zu können, wenn der Mensch die Kontrolle über das Fahrzeug an das System abgegeben hat. Die Sicherheit setzt hier also eine weitreichende Autonomie der KI voraus. Im Gegensatz dazu soll KI in anderen Anwendungsbereichen nur unterstützend agieren, wie etwa in der Medizin. Im Falle der intelligenten medizinischen Bildanalyse von Röntgenbildern unterstützen KI-Systeme zum Beispiel mit einer Einschätzung, welches Krankheitsbild darauf zu sehen ist. Hier ist es sinnvoll, dass die KI gleichzeitig visualisiert, wie sicher sie sich mit ihrer Einschätzung ist und mit welcher Wahrscheinlichkeit möglicherweise noch anderen Diagnosen in Frage kommen. »Spezifische Analyseaufgaben erledigt eine KI-Software dabei oftmals weitaus exakter, umfassender und schneller als der Mensch«, so Poretschkin. Das spart den Ärzt*innen wertvolle Zeit für andere Aufgaben. Wichtig ist: Die KI soll hier nur Bewertungshilfen bieten, die abschließende Kontrolle, Diagnose und schlussfolgernde Entscheidung trifft der Mensch.

Praxistaugliche und standardisierte Qualitätskontrolle von KI-Systemen

Damit KI-Entwickler*innen und -Anwender*innen die Risiken ihrer KI-Systeme einschätzen beziehungsweise gezielt verringern oder vermeiden können, wird es in Europa künftig entsprechende Standards und Zertifizierungsmöglichkeiten geben. So hat etwa die EU-Kommission bereits einen ersten Regulierungsvorschlag für KI-Systeme vorgelegt. Und in Deutschland arbeiten Wissenschaftler*innen unter Leitung des DIN und der Deutschen Kommission Elektrotechnik Elektronik Informationstechnik DKE aktuell an der zweiten Ausgabe der Deutschen Normungsroadmap KI. »Darauf warten, bis diese Standards und Regulierungen in Kraft getreten sind, sollten und müssen die Entwickler*innen und Unternehmen aber nicht. Vielmehr können Verantwortliche sofort aktiv werden, zumal sie schon jetzt von den Ergebnissen des Projekts ›ZERTIFIZIERTE KI‹ profitieren können«, sagt Poretschkin. Eine umfassende Anleitung bietet der »KI-Prüfkatalog: Leitfaden zur Gestaltung vertrauenswürdiger Künstlicher Intelligenz«, den die Projektpartner*innen als erstes Ergebnis ihrer Forschungsarbeiten veröffentlicht haben. Der Katalog fasst alle zur Verfügung stehenden Methoden und Vorgehensweisen zusammen. Aktuell arbeiten die Projektpartner*innen zudem an neuen Vorgehensweisen, Kenngrößen und Messwerkzeugen für alle KI-Anwendungsbereiche, für die es bislang noch keine Prüfverfahren gibt. Alle Forschungsergebnisse des Projekts fließen direkt in die laufenden nationalen und internationalen Bestrebungen zur Standardsetzung und Zertifizierung von KI-Systemen ein.
In ersten KI-Prüfungen, die das Fraunhofer IAIS gemeinsam mit Industriepartnern auf Basis des Prüfkatalogs durchgeführt hat, zum Beispiel in einer Kooperation mit dem Versicherungsunternehmen Munich Re, hat sich die Praktikabilität und der Nutzwert der im Leitfaden beschriebenen Methoden bereits bewährt.

(stw)