Das Maschinelle Lernen ist zur Essenz für den Fortschritt komplexer Technologien geworden: Vom autonomen Fahren über die Bildanalyse bis zu Robotern, die menschenähnlich agieren sollen. Doch trotz einer Vielzahl von richtungsweisenden Entwicklungen muss das Machine Learning nun einen Paradigmenwechsel vollziehen. Denn der enorme Bedarf an Daten und Rechenleistung, der zur Berechnung aktueller Lernmodelle notwendig ist, steigt noch rasanter als die Qualität der berechneten Lösungen. Forscher wie Dr. Janis Keuper vom Fraunhofer ITWM arbeiten deshalb an Möglichkeiten, verteilt zu berechnen und dafür High-Performance-Computing-Systeme einzusetzen.

Hallo Herr Keuper, Maschinelles Lernen ist zu einer Notwendigkeit geworden, seit unsere Ansprüche an die IT so stark gestiegen sind.

Denken Sie an autonom fahrende Autors, die Verkehrssituationen richtig einschätzen müssen, an Spracherkennung oder das »Erkennen« des Inhalts eines Bildes. All das soll ein Computer beziehungsweise dessen Software mittlerweile zuverlässig beherrschen. Das aber wird kaum funktionieren, wenn Sie versuchen, mit klassischen Methoden menschliche Intelligenz in Algorithmen zu fassen. Sie müssen auf die Vorteile datengetriebener Ansätze wie des Deep Learning, also des Maschinellen Lernens, setzen.

Aber aller Anfang ist schwer …

… so würde ich das nicht ausdrücken. Denn die Erfolge des Deep Learning sind beeindruckend – vor allem wenn wir sie mit denen logikbasierter Systeme vergleichen, wie wir sie von klassischen Vorgehensweisen kennen. Ein »Problem« – sofern man das überhaupt so nennen will – ist aber der stets steigende Anspruch an das Maschinelle Lernen.

Sie meinen, dass die Hardware immer wieder an ihre Grenzen kommt?

Maschinelles Lernen ist datengetrieben. Maschinen lernen über die Fülle der Informationen. Aber die dafür nötige Daten-Masse führt dazu, dass der bisher übliche Einsatz von high-end shared-memory Multi-GPU-Systemen für die Berechnung eines mittelgroßen Modells mehrere Tage benötigt.

Deshalb wollen Sie verstärkt auf die Möglichkeiten von Supercomputern setzen?

Das erreichbare Maximum an Rechenleistung in einem lokalen System kann mit den Anforderungen des Maschinellen Lernens kaum mehr mithalten. Deshalb sehe ich die Algorithmiken des Maschinellen Lernens vor einem grundlegenden Umbruch: Wir brauchen die Umstellung auf eine verteilte Berechnung auf heterogenen High-Performance-Computing-Systemen!

Wobei sich diese Forderung auf das Lernen an sich fokussiert, die Ergebnisse sind später auch über einfache Computer berechenbar?

Genau. Der Rechenaufwand bezieht sich immer auf den eigentlichen Lernvorgang bei High-Performance-Computern, kurz HPC. Wenn etwas gelernt ist, könnte die Software hinterher auch auf Ihrem Handy laufen. Aber das Lernen erfordert einen immensen Aufwand. Nehmen wir zum Beispiel die Automobilindustrie, die für ihre autonom fahrenden Fahrzeuge eine Vielzahl von Algorithmen benötigt: Für das Fahren selbst, um Verkehrszeichen oder Fußgänger zu erkennen und so weiter. Diese Modelle müssen vortrainiert werden. Und das machen wir zunehmend auf Großrechnern.

Am Fraunhofer-Institut für Techno- und Wirtschaftsmathematik ITWM arbeiten Sie an Methoden, wie High Performance Computer für das Deep Learning besser und einfacher eingesetzt werden können.

Richtig. Ein zentrales Problem dabei ist die Frage, wie man die Unmengen an Daten überhaupt durch den eigentlichen Rechnungsvorgang sozusagen »durchschleusen« kann.

Das klingt profan: Es geht also nicht um die Berechnungen, sondern vor allem um die Frage, wie Sie die Daten zum Computer hin- und wieder wegbekommen.

Wenn wir uns die Dimension vorstellen, ist es schnell nicht mehr profan: Wir bewegen uns im Bereich von 10 hoch 15 oder sogar 10 hoch 20 Rechenoperationen. Deshalb versuchen wir auf quasi allen Ebenen den dafür nötigen Datentransport in den Griff zu bekommen – von mathematischen Modellen, die die Menge an Daten herunterrechnen über die Kommunikationsprotokolle bis hin zur Hardware, mit denen wir den Transport beschleunigen.

Das ist Gegenstand von Projekten wie »High Performance Deep Learning Framework«, die das Fraunhofer ITWM im Auftrag des Bundesministeriums für Bildung und Forschung (BMBF) durchführt.

Ziel dieses Projektes ist es, den Einstieg einer neuen, wachsenden Benutzergruppe ins High Performance Computing von Anfang an durch passende und gut zu bedienende Werkzeuge zu unterstützen. Wir wollen die Komplexität der Hardware sozusagen vor dem Nutzer »verbergen« und ihn zu einer maximal skalierbaren Lösung führen. Dafür testen und nutzen wir beispielsweise auch spezielle von uns entwickelte Tools wie etwa GPI-Space.

Um was geht es dabei im Kern?

Es ist eine Möglichkeit, die Entwicklung neuer Algorithmen voranzutreiben: Unser auf GPI-Space basierende »Deep Learning in the Cloud-System (DLPS)« beispielsweise erlaubt eine automatische und redundante Optimierung der Meta-Parameter eines Deep-Learning-Modells. Die Anpassung dieser Parameter ist üblicherweise ein zeitraubender und rechenintensiver Prozess.

Können Sie die Fortschritte, die Sie machen, durch ein einfaches Beispiel beschreiben?

Denken Sie an ein relativ bekanntes Standardproblem, bei dem der Rechner den Inhalt von Bildern erlernen soll. Er bekommt Bilder »gezeigt« und soll nachher »sagen«, was darauf zu sehen ist. Also zeigen wir dem Computer eineinhalb Millionen Bilder, damit er die Unterschiede lernt. Und wir schreiben einen Text, damit er weiß, was er sehen soll. Am Ende des Prozesses muss er ein Pferd von einem Auto oder von einem Menschen zuverlässig unterscheiden können – egal, ob er neue oder bereits bekannte Bilder sieht. Um dieses Problem zu lösen, mussten wir vor drei Jahren ungefähr zehn Tage Rechenzeit investieren. Heute sind wir bei 24 Minuten.

Gerade für industrielle Anwendungen ist dieser Geschwindigkeitszuwachs immens wichtig.

Ein Beispiel wäre ein Entwickler in der Automobilindustrie, der einen neuen Algorithmus testen will. Wenn er nach einer Stunde eine Antwort hat ist seine Arbeit natürlich deutlich effizienter als wenn er – wie bislang – vielleicht zehn Tage darauf warten muss.

Ich gehe davon aus, dass Sie trotzdem noch schneller werden wollen?

Gemeinsam mit dem BMBF bauen wir ab Anfang kommenden Jahres einen Test-Cluster bei uns. Dabei wollen wir möglichst preisgünstig ein performantes System entwickeln, bei dem HPC-Hardware und Software Hand in Hand gehen. Wir wollen zeigen, wie ein HPC-System aussehen könnte, das speziell für das maschinelle Lernen gebaut ist.

(aku)

Keine Kommentare vorhanden

Das Kommentarfeld darf nicht leer sein
Bitte einen Namen angeben
Bitte valide E-Mail-Adresse angeben
Sicherheits-Check:
Vier + = 9
Bitte Zahl eintragen!
image description
Interviewpartner
Alle anzeigen
Dr. Janis Keuper
  • Fraunhofer-Institut für Techno- und Wirtschaftsmathematik ITWM
Weitere Artikel
Alle anzeigen
Automatische Augmented Gefechtsfeldaufklärung
Daten in Darwins Diensten
KIMBA-Quiz
Veranstaltungen
Alle anzeigen
Stellenangebote
Alle anzeigen