DAPHNE: An Open and Extensible System Infrastructure for Integrated Data Analysis Pipelines

Damme, Patrick und Birkenbach, Marius und Bitsakos, Constantinos und Boehm, Matthias und Bonnet, Philippe und Ciorba, Florina M. und Dokter, Mark und Dowgiallo, Pawel und Eleliemy, Ahmed und Faerber, Christian und Goumas, Georgios I. und Habich, Dirk und Hedam, Niclas und Hofer, Marlies und Huang, Wenjun und Innerebner, Kevin und Karakostas, Vasileios und Kern, Roman und Kosar, Tomaz und Krause, Alexander und Krems, Daniel und Laber, Andreas und Lehner, Wolfgang und Mier, Eric und Paradies, Marcus und Peischl, Bernhard und Poerwawinata, Gabrielle und Psomadakis, Stratos und Rabl, Tilmann und Ratuszniak, Piotr und Silva, Pedro und Skuppin, Nikolai und Starzacher, Andreas und Steinwender, Benjamin und Tolovski, Ilin und Tözün, Pinar und Ulatowski, Wojciech und Wang, Yuanyuan und Wrosz, Izajasz P. und Zamuda, Ales und Zhang, Ce und Zhu, Xiaoxiang (2022) DAPHNE: An Open and Extensible System Infrastructure for Integrated Data Analysis Pipelines. In: 12th Annual Conference on Innovative Data Systems Research, CIDR 2022. CIDR 2022, 2022-01-09 - 2022-01-12, Chaminade, US.

Dieses Archiv kann nicht den Volltext zur Verfügung stellen.

Kurzfassung

Integrated data analysis (IDA) pipelines—that combine data management (DM) and query processing, high-performance computing (HPC), and machine learning (ML) training and scoring—become increasingly common in practice. Interestingly, systems of these areas share many compilation and runtime techniques, and the used—increasingly heterogeneous—hardware infrastructure converges as well. Yet, the programming paradigms, cluster resource management, data formats and representations, as well as execution strategies differ substantially. DAPHNE is an open and extensible system infrastructure for such IDA pipelines, including language abstractions, compilation and runtime techniques, multi-level scheduling, hardware (HW) accelerators, and computational storage for increasing productivity and eliminating unnecessary overheads. In this paper, we make a case for IDA pipelines, describe the overall DAPHNE system architecture, its key components, and the design of a vectorized execution engine for computational storage, HW accelerators, as well as local and distributed operations. Preliminary experiments that compare DAPHNE with MonetDB, Pandas, DuckDB, and TensorFlow show promising results.

elib-URL des Eintrags:

https://elib.dlr.de/189734/

Dokumentart:

Konferenzbeitrag (Vortrag)

Titel:

DAPHNE: An Open and Extensible System Infrastructure for Integrated Data Analysis Pipelines

Autoren:

Autoren	Institution oder E-Mail-Adresse	Autoren-ORCID-iD	ORCID Put Code
Damme, Patrick	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Birkenbach, Marius	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Bitsakos, Constantinos	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Boehm, Matthias	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Bonnet, Philippe	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Ciorba, Florina M.	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Dokter, Mark	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Dowgiallo, Pawel	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Eleliemy, Ahmed	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Faerber, Christian	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Goumas, Georgios I.	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Habich, Dirk	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Hedam, Niclas	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Hofer, Marlies	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Huang, Wenjun	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Innerebner, Kevin	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Karakostas, Vasileios	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Kern, Roman	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Kosar, Tomaz	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Krause, Alexander	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Krems, Daniel	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Laber, Andreas	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Lehner, Wolfgang	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Mier, Eric	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Paradies, Marcus	Marcus.Paradies (at) dlr.de	https://orcid.org/0000-0002-5743-6580	NICHT SPEZIFIZIERT
Peischl, Bernhard	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Poerwawinata, Gabrielle	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Psomadakis, Stratos	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Rabl, Tilmann	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Ratuszniak, Piotr	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Silva, Pedro	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Skuppin, Nikolai	Nikolai.Skuppin (at) dlr.de	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Starzacher, Andreas	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Steinwender, Benjamin	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Tolovski, Ilin	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Tözün, Pinar	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Ulatowski, Wojciech	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Wang, Yuanyuan	Yuanyuan.Wang (at) dlr.de	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Wrosz, Izajasz P.	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Zamuda, Ales	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Zhang, Ce	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT
Zhu, Xiaoxiang	xiao.zhu (at) dlr.de	NICHT SPEZIFIZIERT	NICHT SPEZIFIZIERT

Datum:

2022

Erschienen in:

12th Annual Conference on Innovative Data Systems Research, CIDR 2022

Referierte Publikation:

Open Access:

Nein

Gold Open Access:

Nein

In SCOPUS:

In ISI Web of Science:

Nein

Status:

veröffentlicht

Stichwörter:

big data

Veranstaltungstitel:

CIDR 2022

Veranstaltungsort:

Chaminade, US

Veranstaltungsart:

internationale Konferenz

Veranstaltungsbeginn:

9 Januar 2022

Veranstaltungsende:

12 Januar 2022

HGF - Forschungsbereich:

Luftfahrt, Raumfahrt und Verkehr

HGF - Programm:

Raumfahrt

HGF - Programmthema:

Erdbeobachtung

DLR - Schwerpunkt:

Raumfahrt

DLR - Forschungsgebiet:

R EO - Erdbeobachtung

DLR - Teilgebiet (Projekt, Vorhaben):

R - Projekt Big Data

Standort:

Jena

Institute & Einrichtungen:

Institut für Datenwissenschaften > Datenmanagement und -aufbereitung

Hinterlegt von:

Paradies, Dr.-Ing. Marcus

Hinterlegt am:

17 Nov 2022 15:37

Letzte Änderung:

12 Jul 2024 09:12

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags