idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Ein interdisziplinäres Konsortium entwickelt intelligente adaptive Speichersysteme
Vierzehn Einrichtungen aus sechs europäischen Ländern setzen im Rahmen des ADMIRE-Projekts ein neuartiges adaptives Speichersystem für Hochleistungsrechner um. Mit dessen Hilfe soll die Laufzeit von Anwendungen aus den Bereichen Wettervorhersage, Molekulardynamik, Turbulenzsimulation, Kartografie, Gehirnforschung und Softwarekatalogisierung deutlich gesteigert werden. Unter der Koordination der Madrider Universität Carlos III (UC3M) fördern das European High-Performance Computing Joint Undertaking (EuroHPC JU) und die teilnehmenden Staaten das Projekt.
Die Verarbeitung sehr großer Datenmengen, wie sie beispielsweise für die künstliche Intelligenz benötigt werden, ist eine der Triebfedern beim Entwurf von Hochleistungsrechnern – ein Trend, der das klassische, auf das reine Rechnen fokussierte Design solcher Rechner infrage stellt. Deren flache Speicherhierarchien mit einem zentralen Dateisystem erweisen sich zunehmend als nicht ausreichend. Neue Technologien in Richtung schneller, nichtflüchtiger und gleichzeitig energieeffizienter Massenspeicher eröffnen Chancen, den Bedürfnissen datenintensiver Anwendungen gerecht zu werden. Bisher fehlen jedoch adäquate Steuerungsmechanismen und angepasste Dateisysteme, um dieses Potenzial auszuschöpfen. Diese zu schaffen ist das Ziel des europäischen Projekts ADMIRE.
Der ADMIRE-Softwarestack mit Anwendungen
Vier deutsche Einrichtungen sind maßgeblich an dem Projekt beteiligt und werden in den kommenden drei Jahren an verschiedenen Komponenten des ADMIRE-Gesamtsystems arbeiten.
Johannes Gutenberg-Universität Mainz (JGU)
Die JGU fokussiert sich auf die sogenannten Ad-hoc-Dateisysteme, die bei Bedarf vom ADMIRE-Gesamtsystem für Applikationen gesteuert werden. Mit Hilfe der Ad-hoc-Dateisysteme werden zentrale Dateisysteme entlastet. Diese können so den I/O-Anforderungen unterschiedlichster Applikationen nachkommen. Dafür setzt die JGU auf das GekkoFS-Dateisystem, das bereits in früheren Projekten entwickelt wurde. Im Rahmen von ADMIRE wird GekkoFS an die Anforderungen von modernen Applikationen in Hochleistungsrechnern angepasst, sodass das Dateisystem die höchstmögliche I/O-Leistung zur Verfügung stellen und dynamisch auf Entscheidungen des ADMIRE-Gesamtsystems reagieren kann.
Technische Universität Darmstadt (TUDa)
Die TU Darmstadt entwickelt Algorithmen und Werkzeuge, um die von einem Programm genutzten Ressourcen zur Laufzeit so zu justieren, dass sowohl die Auslastung des Gesamtsystems als auch die Laufzeit individueller Programme optimiert werden. Dabei kommt ein von der TU Darmstadt in früheren Projekten geschaffenes Leistungsmodellierungswerkzeug mit dem Namen Extra-P zum Einsatz, welches in ADMIRE um eine Funktionalität zur Modellierung von I/O erweitert wird.
Forschungszentrum Jülich
Das Jülich Supercomputing Centre (JSC) am Forschungszentrum Jülich entwickelt skalierbare und effiziente Verarbeitungsworkflows für Earth Observation (EO) Anwendungen, die auf Methoden des maschinellen Lernens und des Deep Learnings basieren. In ADMIRE wird das JSC die I/O-Leistung vollständiger Verarbeitungspipelines optimieren, die bestehende Landbedeckungskarten durch die Klassifizierung aktueller Zeitreihen von multispektralen Satellitenbildern automatisch aktualisieren können. Der neue ADMIRE-Software-Stack wird den Zugriff auf und die Analyse der Daten in den Verarbeitungsschritten von der Dateningestion bis zu den Endprodukten beschleunigen. Das JSC wird effiziente EO-Verarbeitungs-Workflows veröffentlichen, die in der Lage sind, riesige Mengen an Fernerkundungsdaten aus mehreren Quellen in operativen Szenarien zu verarbeiten, um Entscheidungsträger mit klaren, zeitnahen und nützlichen Informationen zu versorgen.
Max Planck Computing and Data Facility (MPCDF)
Die MPCDF entwickelt in-situ Methoden, bei denen Daten noch während der laufenden Simulation prozessiert, zum Beispiel komprimiert, und analysiert werden können. Dadurch können viele Aufgaben, die normalerweise erst nach Beendigung der Simulation und Speicherung der Daten im Filesystem durchgeführt werden, bereits auf aktiven Daten, welche sich noch im Hauptspeicher befinden, angewandt werden und dadurch die schlussendlich zu speichernde Datenmenge deutlich reduziert werden. In-situ-Methoden wurden ursprünglich zur Visualisierung entwickelt und werden im Zuge des ADMIRE-Projekts verallgemeinert, um insbesondere Methoden der Künstlichen Intelligenz und andere Datenanalysemethoden durchführen zu können.
Über ADMIRE
ADMIRE ist ein von der EU gefördertes Projekt. Es startete am 1. April 2021 und wird über drei Jahre mit einem Budget von 7,9 Millionen Euro gefördert. Unter der Koordination der Universität Carlos III (Spanien) arbeitet ein multidisziplinäres, wissenschaftliches Team zusammen: Barcelona Supercomputing Center (Spanien), Johannes Gutenberg-Universität Mainz (Deutschland), Technische Universität Darmstadt (Deutschland), Max-Planck-Gesellschaft (Deutschland), Forschungszentrum Jülich GmbH (Deutschland), DataDirect Networks (Frankreich), Paratools (Frankreich), Institut national de recherche en sciences et technologies du numérique (Frankreich), Consorzio Interuniversitario Nazionale per l’Informatica (Italien), CINECA Consorzio Interuniversitario (Italien), E4 Computer Engineering SpA (Italien), Instytut Chemii Bioorganicznej Polskiej Akademii Nauk (Polen) und Kungliga Tekniska högskolan (Schweden).
Förderung erhält ADMIRE vom European High-Performance Computing Joint Undertaking (JU) unter der Fördervereinbarung Nr. 956748. Das JU erhält Unterstützung durch das Forschungs- und Innovationsprogramm Horizon 2020 der Europäischen Union sowie durch die Länder Spanien, Deutschland, Frankreich, Italien, Polen und Schweden.
Bildmaterial:
https://download.uni-mainz.de/presse/zdv_admire.jpg
Das ADMIRE-Projekt im Überblick
Abb./©: ADMIRE Project
Kontakt:
Vera Lejsek
Marketing und Kommunikation
Zentrum für Datenverarbeitung (ZDV)
Johannes Gutenberg-Universität Mainz
55099 Mainz
Tel. +49 6131 39-21018
E-Mail: vlejsek@uni-mainz.de
https://www.zdv.uni-mainz.de
Weiterführende Links:
https://www.admire-eurohpc.eu/ - EU-Projekt ADMIRE
Merkmale dieser Pressemitteilung:
Journalisten, Wissenschaftler, jedermann
Chemie, Informationstechnik, Medizin, Meer / Klima, Physik / Astronomie
überregional
Forschungsprojekte, Kooperationen
Deutsch
Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.
Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).
Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.
Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).
Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).
