elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

Performance of high-order SVD approximation: reading the data twice is enough

Röhrig-Zöllner, Melven und Thies, Jonas und Basermann, Achim (2021) Performance of high-order SVD approximation: reading the data twice is enough. In: SIAM Conference on Applied Linear Algebra. SIAM Conference on Applied Linear Algebra, 17.-21. Mai 2021, Online.

[img] PDF
1MB

Kurzfassung

Performance of high-order SVD approximation: reading the data twice is enough ============================================================================= This talk considers the problem of calculating a low-rank tensor approximation of some large dense data. We focus on the tensor train SVD (TT-SVD) but the approach can be transferred to other low-rank tensor formats such as general tree tensor networks. In the TT-SVD algorithm, the dominant building block consists of singular value decompositions of tall-skinny matrices. Therefore, the computational performance is bound by data transfers on current hardware as long as the desired tensor ranks are sufficiently small. Based on a simple roofline performance model we show that under reasonable assumptions the minimal runtime is of the order of reading the data twice. We present an almost optimal, distributed parallel implementation that is based on a specialized rank-preserving TSQR step. Moreover, we discuss important algorithmic details and compare our results with common implementations that are often about 50x slower than optimal. References: Oseledets: "Tensor-Train Decomposition", SISC 2011 Grasedyck and Hackbusch: "An Introduction to Hierarchical (H-) Rank and TT-Rank of Tensors with Examples", CMAM 2011 Demmel et. al.: "Communication Avoiding Rank Revealing QR Factorization with Column Pivoting", SIMAX 2015 Williams et. al.: "Roofline: An Insightful Visual Performance Model for Multicore Architectures", CACM 2009

elib-URL des Eintrags:https://elib.dlr.de/142361/
Dokumentart:Konferenzbeitrag (Vortrag)
Titel:Performance of high-order SVD approximation: reading the data twice is enough
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Röhrig-Zöllner, MelvenMelven.Roehrig-Zoellner (at) dlr.dehttps://orcid.org/0000-0001-9851-5886NICHT SPEZIFIZIERT
Thies, JonasJonas.Thies (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Basermann, AchimAchim.Basermann (at) dlr.dehttps://orcid.org/0000-0003-3637-3231NICHT SPEZIFIZIERT
Datum:20 Mai 2021
Erschienen in:SIAM Conference on Applied Linear Algebra
Referierte Publikation:Ja
Open Access:Ja
Gold Open Access:Nein
In SCOPUS:Nein
In ISI Web of Science:Nein
Status:veröffentlicht
Stichwörter:Tensor-Train Decomposition, high-dimensional data, High-Performance-Computing, tall-skinny QR
Veranstaltungstitel:SIAM Conference on Applied Linear Algebra
Veranstaltungsort:Online
Veranstaltungsart:internationale Konferenz
Veranstaltungsdatum:17.-21. Mai 2021
Veranstalter :Society for Industrial and Applied Mathematics (SIAM)
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Raumfahrt
HGF - Programmthema:Technik für Raumfahrtsysteme
DLR - Schwerpunkt:Raumfahrt
DLR - Forschungsgebiet:R SY - Technik für Raumfahrtsysteme
DLR - Teilgebiet (Projekt, Vorhaben):R - Aufgaben SISTEC
Standort: Köln-Porz
Institute & Einrichtungen:Institut für Softwaretechnologie > High-Performance Computing
Institut für Softwaretechnologie
Hinterlegt von: Röhrig-Zöllner, Melven
Hinterlegt am:14 Jun 2021 09:04
Letzte Änderung:15 Nov 2022 11:26

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.