Mit einer Simulation des SARS-Cov-2 Spike Proteins ist es am Paderborner Center of Parallel Computing weltweit erstmals gelungen, die sogenannte Exaflop-Schwelle zu überschreiten: Das dort entwickelte Programm führte in einer Sekunde 1,1 Trillionen Rechenoperationen aus. Noch mussten die Wissenschaftler*innen dabei allerdings Abstriche bei der Rechengenauigkeit akzeptieren und statt in der eigentlich gewünschten 64-Bit-Präzision mit einer Mischung aus 32-Bit- und 16-Bit-Präzision vorliebnehmen. Das war im Mai dieses Jahres. Inzwischen ist mit »Frontier«, der neuen »Nummer 1« auf der Liste der weltweit rechenstärksten Supercomputer, ein Exascale-Rechnersystem mit voller Exaflop-Leistung in Betrieb. Und die Rechenstärke dürfte noch weiter und in atemraubendem Tempo steigen.

Für das Team um Prof. Jochen Garcke am Fraunhofer-Institut für Algorithmen und Wissenschaftliches Rechnen SCAI sind diese neuen Möglichkeiten des Supercomputings eine verheißungsvolle Nachricht: »Supercomputer in der Exascale-Klasse sind entscheidend, um mithilfe von Simulationsberechnungen in neue Wissens-Sphären vorzudringen.« Trotzdem ist die Vorfreude von Garcke (noch) getrübt, denn: »Die Exascle-Hardware alleine ist eben noch nicht die Lösung, um die mit ihnen möglichen Ergebnisse auch effektiv in Erkenntnisse umzuwandeln.« Schneller rechnen zu können bedeute letztlich nur, dass Sachverhalte noch besser simuliert werden können. Beispielsweise, um das Verhalten eines Stoffes bei Belastung detaillierter zu berechnen. Oder aber, um einen größeren Ausschnitt der Realität zu untersuchen. Und, um mehr Zeitschritte eines Vorganges analysieren.

Der Vorteil der neuen Generation der Supercomputer aber mache nun auch einen Nachteil offensichtlich. »So wichtig es ist, in kürzester Zeit möglichst umfangreiche Rechenergebnisse zur Verfügung zu haben: Bei Simulationsanwendungen sind die Berechnungskapazitäten eben nicht der einzige limitierende Faktor.«, erklärt Garcke. Auch die Simulationsprogramme und die dazugehörige Soft- und Hardwareperipherie muss mit dem Mehr an Rechengeschwindigkeit Schritt halten können.

In dem von der EU-Kommission geförderten Projekt »EXCELLERAT« forschen Arbeitsgruppen aus Wissenschaft und Industrie in ganz Europa nun zusammen daran, auch die Simulationsumgebungen weiterzuentwickeln. Neue Methoden und Tools sollen es ermöglichen, den »neuen Nachteil« zu egalisieren, damit Institute und Industrie die Leistungsfähigkeit der Supercomputer neuester Generation auch tatsächlich ausschöpfen können. Dazu gehört zum Beispiel, die durchzuführenden Berechnungen so aufzuteilen und zu steuern, dass die Programme die große Anzahl parallel betriebener Rechenkerne der Exascale-Systeme auch bestmöglich nutzen.

Der Beitrag, den Fraunhofer SCAI in dem Forschungsprojekt leistet, geht aber noch einen Schritt weiter: Garcke und seine Kolleg*innen wollen zusätzliche Erkenntnisquellen erschließen, die bei den bisherigen Simulationsanwendungen nicht oder nur unzureichend angezapft werden.

Details trotz Abstraktionserfordernis sichern

Bei komplexen Simulationen ist es sinnvoll, nicht jedes Detail, das über das Simulationsprogramm ermittelt wird, auch tatsächlich zu speichern. Es würde schlicht zu lange dauern, sämtliche Zwischenergebnisse und Berechnungsdetails vom Hochleistungsrechner auf ein Speichermedium zu übertragen. Deshalb wird in der Regel lediglich eine Art Zusammenfassung der wichtigsten Ergebnisse erstellt, die sich auf wichtige aggregierte Kenngrößen und die für die jeweilige Fragestellung relevanten Parameter beschränkt. Bei umfangreichen Simulationen umfassen allerdings bereits diese Zusammenfassungen Daten bis zur Größe von mehreren Terabyte. »Bei Simulationen, wie sie heute praktiziert werden, lässt sich deshalb kaum vermeiden, dass vielfältige Detailinformationen verloren gehen, die für die Bewertung und den Vergleich von Simulationsvarianten entscheidende Hinweise liefern könnten«, sagt Garcke. Diese unbefriedigende Situation können auch Exascale-Supercomputer nicht lösen, sondern im Gegenteil: Sie können das Dilemma sogar verstärken. Zumindest bislang.

Denn Garcke und sein Team haben eine neue Methode entwickelt, die diesen grundlegenden Makel des Simulierens am Hochleistungscomputer nachweislich reduziert: die In-Situ-Datenanalyse. Dabei ergänzt eine Analysesoftware die Arbeit der Simulationsprogramme durch die Auswertung der (eigentlich verlorenen) Ergebnisdetails. Und sie führt diese Berechnungen bereits während des Simulationsablaufs am Supercomputer durch. Die Forscher*innen des Fraunhofer SCAI docken dazu mit ihrer In-Situ-Software über eine Visualisierungsschnittstelle an die gängigen Simulationsprogramme an. Ursprünglich wurde diese Schnittstelle dafür geschaffen, den Verlauf einer Simulationsberechnung grafisch darzustellen. Nun aber ermöglicht sie es zusätzlich an einzelnen Prozessschritten die Zwischenergebnisse der Simulationsberechnungen kontinuierlich auszulesen und zu analysieren.

Simulationsverlauf liefert wichtige Erkenntnisse

Ihre In-Situ-Analysen haben die Forscher*innen unter anderem über eine Demonstrationsanwendung validiert, die das Strömungsverhalten in einem Luftkanal eines Fahrzeugs simuliert. Ziel ist es, die Geometrie des Kanals so zu optimieren, dass keine unerwünschten Verwirbelungen den Luftstrom behindern und die Geräuschentwicklung möglichst niedrig ist. Dabei können bereits kleinste Geometrieanpassungen entscheidende Veränderungen bewirken und das Ergebnis eines Simulationslaufs beeinflussen.

Turbulente Strukturen bei einer Simulation der Luftströmung in einem Lüftungskanal eines Fahrzeugs. Bild: Fraunhofer SCAI

»Durch unsere In-Situ-Datenanalysen lässt sich nun frühzeitig und sehr detailliert erkennen, zu welchem Zeitpunkt der Strömungsentwicklung sich ein unerwünschter Prozess abzeichnet«, so Garcke. Das Monitoring im Verlauf der Berechnungen könne also entscheidende Zusatzinformationen liefern, um die aktuelle Simulation mit den Ergebnissen vorhergegangener Durchläufe zu vergleichen. Zeigt das Strömungsverhalten der aktuellen Variante der Bauteilgeometrie beim In-Situ-Vergleich beispielsweise bereits nach einem Tag Rechenzeit eine negative Entwicklung, können die Produktentwickler*innen den Simulationslauf abbrechen, anstatt ihn weitere Tage bis zum Ende durchzurechnen. »Der Entwicklungsprozess wird dadurch erheblich beschleunigt und die erforderlichen Kosten für die Nutzung der Supercomputer deutlich reduziert«, resümiert Garcke.

Zusätzlich nutzen die Forscher*innen in Zusammenarbeit mit den Projektpartner*innen des KTH Royal Institute of Technology in Stockholm die In-Situ-Datenanalysen, um Unsicherheiten der Simulationsrechnung besser abschätzen zu können. Denn auch beim Rechnen auf einem Hochleistungssystem gilt, dass die Anzahl der Gitterpunkte begrenzt ist. Die räumliche und zeitliche Auflösung eines Strömungsvorganges stellt also lediglich eine Vereinfachung der Wirklichkeit dar. »Durch die Analyse der während des Simulationslaufes errechneten Zwischenergebnisse lassen sich diese Unsicherheiten genauer bestimmen und in ihrer Auswirkung auf das Gesamtergebnis bewerten, als dies bisher anhand der zusammengefassten Ergebnisdaten möglich ist«, so Garcke.

Europäisches Kompetenzzentrum für Simulationen im Ingenieurbereich

Mittlerweile haben Garcke und sein Team das Programm für die In-Situ-Datenanalysen zu einem Prototyp für ein Plug-In für gängige Simulationsumgebungen weiterentwickelt. Die Software ist Teil des breit gefächerten Angebots, das über das Projekt EXCELLERAT ausgerollt wird. Im Projekt hatten dreizehn Wissenschafts- und Industriepartner*innen aus sieben europäischen Ländern ihre Kompetenzen und Erfahrungen gebündelt und gemeinsam das »Kompetenzzentrum der Europäischen Union für Ingenieuranwendungen – EXCELLERAT« aufgebaut. Das Kompetenzzentrum unterstützt Industrieunternehmen und Entwicklungsingenieur*innen beim Einsatz von Supercomputing im industriellen Umfeld unter anderem mit Schulungsangeboten, Benchmark-Demonstrationen und fachlichen Expertisen zu Simulationsanwendungen in Forschung und Entwicklung.

(ted)