Serverless Scientific Computing for Earth Observation and Sustainability Research (SOS)
SOS - DFG Research Unit 5696
Projektbeschreibung
Moderne Forschung im Bereich Erdbeobachtung und Nachhaltigkeit stellt die Rechen-, Speicher- und Kommunikationsinfrastruktur vor Herausforderungen, die für die Analyse der enormen Datenmengen aus Fernerkundungssystemen erforderlich sind. Um Erdbeobachtungs-Workflows zu entwickeln, auszuführen, zu optimieren und zu warten, benötigen Geowissenschaftler fundierte IT- und Datenwissenschaftskenntnisse.
Entwickler stehen vor Herausforderungen wie:
- Eine Vielzahl von Algorithmen
- Widersprüchliche Empfehlungen
- Intransparente Daten(vor)verarbeitung
- Fehlende Standards für die Workflow-Spezifikation
Dies führt zu einer eingeschränkten Wiederverwendbarkeit von Workflow-Implementierungen und einer geringen Reproduzierbarkeit der Ergebnisse. Darüber hinaus stellt die Verarbeitung riesiger Datenmengen (Petabytes) aus verteilten und heterogenen Quellen eine erhebliche Einstiegshürde für Geowissenschaftler dar.
SOS stellt eine interdisziplinäre Kooperation dar, die Entwicklern gleichzeitig das Erstellen, Teilen und Wiederverwenden von Workflows und die Handhabung der benötigten Daten erleichtert, und setzt dabei auf die Expertise der verschiedenen Projektpartner, um eine auf die Nutzer zugeschnittene Lösung zu konzipieren.
Die Website des SOS-Projekts bietet einen genaueren Überblick über unser Team, Neuigkeiten aus dem Projekt, und die Aufgabenverteilung auf die einzelnen Teilprojekte.
Teilprojekt CN1
Unter den Teilprojekten von SOS ist insbesondere CN1 an unserem Lehrstuhl beheimatet. Während CN1 ausdrücklich den Fokus unserer Arbeit darstellt, ist auch die Kooperation mit anderen Subprojekten wesentlicher Bestandteil der Projektarbeit.
Um die Verarbeitung von Erdbeobachtungsdaten in einer heterogenen Rechenressourcenlandschaft und unter Berücksichtigung anfragespezifischer Einschränkungen zu ermöglichen, ist ein ausgefeiltes Verfahren zur Workflow-Aufgabenverteilung erforderlich. Das Teilprojekt CN1 zielt darauf ab, eine daten- und verarbeitungszentrierte Netzwerkarchitektur zu entwickeln, die das Netzwerkmanagement und die Verwaltung der serverlosen Plattform konsolidiert. Um den Ressourcenbedarf komplexer Erdbeobachtungs-Workflows zu bewältigen, ist die Entwicklung einer geeigneten Infrastrukturabstraktionsschicht, einem sogenannten Network Overlay, ein zentrales Forschungsgebiet. Diese ermöglicht präzise Entscheidungen zur Aufgabenverteilung in einer Umgebung mit mehreren Zielsetzungen, die teilweise im Widerspruch zueinander stehen können. Durch die Einbeziehung workflowspezifischer Optimierungen und die Integration von Hochleistungsrechnern in die vernetzten Ressourcen ist das Projekt eng mit den Teilprojekten SE2 und HPC1 verknüpft.
