Plattform für High Performance Data Analytics (HPDA) in der Erdbeobachtung

Das Deutsche Zentrum für Luft- und Raumfahrt (DLR) und das Leibniz-Rechenzentrum (LRZ) der Bayerischen Akademie der Wissenschaften haben ‚terrabyte’ in Betrieb genommen – eine von Europas größten wissenschaftlichen Plattformen zur Analyse von Erdbeobachtungsdaten. Die Plattform ermöglicht es Forschenden erstmals, globale Datensätze von Erdbeobachtungssatelliten in höchster Auflösung effizient auszuwerten. Hinsichtlich des globalen Wandels können die Forschenden auch die Auswirkungen auf Menschen und Umwelt genauer bestimmen und geeignete Maßnahmen ableiten. Das gilt etwa für die drastische Veränderung der Polarregionen, die Häufung von Extremwetter-Ereignissen und Naturkatastrophen oder die zunehmende weltweite Urbanisierung. ‚terrabyte’ ist sicher und unabhängig von kommerziellen Betreibern. Die Inbetriebnahme der Großrechenanlage fand am 14. Juni 2023 am LRZ in Garching bei München mit Gästen aus Politik und Wissenschaft statt.

‚terrabyte’ stellt aktuelle und über fünf Jahrzehnte gesammelte historische Erdbeobachtungsdaten sowie intelligente Big-Data-Analyseverfahren über Cloud-Dienste zur Verfügung. Diese umfassen neben umfangreichen Daten der nationalen Missionen TerraSAR-X/TanDEM-X sowie des US-amerikanischen Landsat-Systems auch alle Produkte der Sentinel-Satelliten des europäischen Erdbeobachtungssystems Copernicus. Zusätzlich können Nutzende Informationen aus sozialen Netzwerken in ihre Auswertung integrieren.

„Mit ‚terrabyte’ ist ein großer Schritt für die zukünftige Geoinformationsforschung gelungen. Big Data, neueste KI-basierte Verarbeitungsmethoden und High Performance Computing sind auf einzigartige Weise vereint. ‚terrabyte’ bildet nicht nur das Fundament für unsere Wissenschaft, sondern ist auch ein entscheidender Wirtschaftsfaktor für Bayern und Deutschland. Basis dafür ist die Kooperation mit unseren Partnern und der damit verbundene Wissenstransfer“, sagt Prof. Dr.-Ing. Anke Kaysser-Pyzalla, Vorstandsvorsitzende des DLR.

Prof. Stefan Dech, Direktor des Deutschen Fernerkundungsdatenzentrums am DLR ergänzt: „Mit dem Leibniz-Rechenzentrum haben wir den idealen Kooperationspartner für dieses herausfordernde Projekt gefunden. Mit ‚terrabyte’ haben wir eine autonome und sichere Plattform mit umfassend globalen Datenbeständen aus der Erdbeobachtung, die wir zusammen mit unseren Partnern erschließen können. Gleichzeitig bildet ‚terrabyte’ eine technologische Brücke zwischen den Standorten Oberpfaffenhofen und Garching.“

Der Leiter des LRZ Prof. Dieter Kranzlmüller betont: „‚terrabyte’ ist die Antwort auf die diversen Anforderungen an effiziente Datenhaltung, Data Science, KI und Cloud-Services bis hin zum Hoch- und Höchstleistungsrechnen. Mit unserem langjährigen Know-how in diesen Bereichen verbinden wir die Technologien zu einem für die Erdbeobachtung maßgeschneiderten Dienst. Von der riesigen Menge an historischen und topaktuellen Satellitendaten profitieren via ‚terrabyte’ nicht nur Forschende des DLR, sondern auch bayerische Wissenschaftlerinnen und Wissenschaftler. Ein sehr spannendes, aber auch forderndes Projekt – das nur möglich war durch die intensive und hervorragende Zusammenarbeit von DLR und LRZ.“

Technische Höchstleistungen, einfache Anwendung

‚terrabyte’ hat eine Bruttokapazität von etwa 50 Petabyte Online-Speicher. (Ein Petabyte entspricht 1015 Byte und dem Inhalt von etwa 223.000 DVDs). Das System ist in die bestehende Infrastruktur des LRZ in Garching integriert und mit dem Deutschen Satellitendatenarchiv des DLR in Oberpfaffenhofen verbunden. Dort werden alle Daten sicher und langfristig archiviert und können bei Bedarf auf ‚terrabyte’ nachgeladen werden. Eine Netzanbindung mit einer Datenrate von 100 Gigabit pro Sekunde gewährt die schnelle Übertragung der Archivdaten auf das Produktionssystem ‚terrabyte’. CPU- und GPU-Ressourcen der neuesten Generation ermöglichen den reibungslosen Ablauf in der Cloud-Umgebung. Für die Verarbeitung und Analyse der Daten ist die ‚terrabyte’-Plattform mit neuester KI-Hardware ausgestattet und liefert 1,3 Petaflop/s Rechenpower – das sind 1,3 Billiarden Gleitkommaberechnungen pro Sekunde.

Damit die Forschungsgemeinschaft die Datenschätze auch nutzen kann, bietet ‚terrabyte’ eine Reihe von softwarebasierten Diensten an. Ein großer Teil der Daten wird vorverarbeitet und gleich in Anwendungen übernommen (Analysis Ready Data; ARD). Softwaretools und andere Systeme erleichtern es den Wissenschaftlerinnen und Wissenschaftlern, auch eigene Algorithmen zu implementieren und in der ‚terrabyte’-Umgebung zu nutzen. Das Earth Observation Center (EOC), weitere Institute des DLR und deren Partnerorganisationen entwickeln dazu Algorithmen, die künstliche Intelligenz und maschinelles Lernen beinhalten. So lassen sich vielfältige globale geowissenschaftliche Analysen durchführen, die aufgrund der Datenmengen und limitierter Rechnerleistung bisher nur auf kommerziellen Plattformen möglich war.

Zukunft von Big Data in der Erdbeobachtung

Welches Potenzial in der Big-Data-Analyse von Erdbeobachtungsdaten steckt, zeigen globale Produkte wie der World Settlement Footprint des DLR. Dieser Datensatz, der die Entwicklung der besiedelten Flächen unseres Planeten zeigt, ist mittlerweile ein Standard, der von den Vereinten Nationen, der Weltbank und vielen anderen genutzt wird. Erzeugt wurde die Karte aus vielen Petabyte Daten der Copernicus- und Landsat-Missionen sowie dem globalen digitalen Höhenmodell, das aus den Daten der TanDEM-X-Mission erzeugt wurde. Ein weiteres Beispiel sind KI-basierte globale Analysen von Off-Shore-Windkraftanlagen, die sich im Bau oder im Betrieb befinden. Sie sind wichtiger Indikator, um beurteilen zu können, wie erfolgreich die Bemühungen um CO2-Neutralität sind. Die Auswertungen geben auch Aufschluss darüber, inwieweit wir eine wirtschaftliche Unabhängigkeit durch diese Energieversorgung erreichen.

Der Regelbetrieb von ‚terrabyte’ ist nun erfolgreich gestartet. DIe Anlage bietet für die Projektpartner die Plattform, ihre Forschungsarbeiten im Bereich High Performance Computing und Cloud Computing weiter fortzusetzen. Gemeinsam mit dem Leibniz-Rechenzentrum will das DLR die Chance nutzen, auch künftig neue IT-Entwicklungen zu initiieren – für die Wissenschaft und den Forschungsstandort Deutschland.

Über das Projekt

‚terrabyte’ ist eine Kooperation zwischen dem Leibniz-Rechenzentrum (LRZ), der Bayerischen Akademie der Wissenschaften (BAdW) und dem Deutschen Fernerkundungsdatenzentrum (DFD) am DLR. Erklärtes Ziel ist, aktuelle und historische Erdbeobachtungsdaten zentral der Wissenschaft öffentlich zugänglich und verwertbar zu machen.

Dabei investierte das DLR rund 19 Millionen Euro in die spezifisch an die Anforderungen der Erdbeobachtung angepasste Rechnerinfrastuktur und die Entwicklung der Software-Umgebung. Das LRZ stellt den Betrieb der High Performance Data Analytics Platform sicher, übernimmt die laufenden Betriebskosten und bringt neben beträchtlichen Personalressourcen sein jahrelanges Know-how in die Kooperation ein. Im Gegenzug betreibt und wartet das LRZ die Infrastruktur an seinem Rechenzentrum in Garching bei München.