Fichtner, Florian Willy und Mandery, Nico und Schwinger, Maximilian und Eberle, Jonas und Nolde, Michael und Riedlinger, Torsten (2021) Scalable Processing Of Copernicus Sentinel satellite Images Using Argo Workflows. Big Data from Space 2021, 2021-05-18 - 2021-05-20, Bukarest, Rumänien. doi: 10.2760/125905. ISBN 978-92-76-37661-3. ISSN 1831-9424.
Dieses Archiv kann nicht den Volltext zur Verfügung stellen.
Offizielle URL: https://doi.org/10.2760/125905
Kurzfassung
With the goal of using a pool of resources dynamically for different applications we migrated scientific Earth Observation processors from dedicated Virtual Machines into a centralized cloud. Processing in this environment works using off-the-shelf components like Kubernetes, Docker and Argo Workflows. We were able to benefit from sharing data, tools and infrastructure in between processors. To showcase the new workflow or pipeline by means of an example we use our burnt area monitoring processor based on Sentinel-3 satellite data. A new architecture based on existing components was established, which we plan to extend it in the future.
elib-URL des Eintrags: | https://elib.dlr.de/142309/ | ||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Dokumentart: | Konferenzbeitrag (Vortrag) | ||||||||||||||||||||||||||||
Titel: | Scalable Processing Of Copernicus Sentinel satellite Images Using Argo Workflows | ||||||||||||||||||||||||||||
Autoren: |
| ||||||||||||||||||||||||||||
Datum: | 18 Mai 2021 | ||||||||||||||||||||||||||||
Referierte Publikation: | Ja | ||||||||||||||||||||||||||||
Open Access: | Nein | ||||||||||||||||||||||||||||
Gold Open Access: | Nein | ||||||||||||||||||||||||||||
In SCOPUS: | Nein | ||||||||||||||||||||||||||||
In ISI Web of Science: | Nein | ||||||||||||||||||||||||||||
DOI: | 10.2760/125905 | ||||||||||||||||||||||||||||
Seitenbereich: | Seiten 77-80 | ||||||||||||||||||||||||||||
ISSN: | 1831-9424 | ||||||||||||||||||||||||||||
ISBN: | 978-92-76-37661-3 | ||||||||||||||||||||||||||||
Status: | veröffentlicht | ||||||||||||||||||||||||||||
Stichwörter: | Kubernetes, Argo Workflows, Big Data processing, earth observation, burnt area monitoring | ||||||||||||||||||||||||||||
Veranstaltungstitel: | Big Data from Space 2021 | ||||||||||||||||||||||||||||
Veranstaltungsort: | Bukarest, Rumänien | ||||||||||||||||||||||||||||
Veranstaltungsart: | internationale Konferenz | ||||||||||||||||||||||||||||
Veranstaltungsbeginn: | 18 Mai 2021 | ||||||||||||||||||||||||||||
Veranstaltungsende: | 20 Mai 2021 | ||||||||||||||||||||||||||||
Veranstalter : | European Space Agency (ESA), Joint Research Centre (JRC) of the European Commission, European Union Satellite Centre (SatCen) | ||||||||||||||||||||||||||||
HGF - Forschungsbereich: | Luftfahrt, Raumfahrt und Verkehr | ||||||||||||||||||||||||||||
HGF - Programm: | Raumfahrt | ||||||||||||||||||||||||||||
HGF - Programmthema: | Erdbeobachtung | ||||||||||||||||||||||||||||
DLR - Schwerpunkt: | Raumfahrt | ||||||||||||||||||||||||||||
DLR - Forschungsgebiet: | R EO - Erdbeobachtung | ||||||||||||||||||||||||||||
DLR - Teilgebiet (Projekt, Vorhaben): | R - Geoprodukte u. - Systeme, Services | ||||||||||||||||||||||||||||
Standort: | Oberpfaffenhofen | ||||||||||||||||||||||||||||
Institute & Einrichtungen: | Deutsches Fernerkundungsdatenzentrum > Georisiken und zivile Sicherheit Deutsches Fernerkundungsdatenzentrum > Informationstechnik Deutsches Fernerkundungsdatenzentrum > Internationales Bodensegment | ||||||||||||||||||||||||||||
Hinterlegt von: | Fichtner, Florian W. | ||||||||||||||||||||||||||||
Hinterlegt am: | 25 Mai 2021 10:04 | ||||||||||||||||||||||||||||
Letzte Änderung: | 24 Apr 2024 20:42 |
Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags