autoBLAS in verteilten Umgebungen

Abstract

Massiv parallele Systeme sind das Rückgrat des modernen Hochleistungsrechnens und werden es auch im kommenden Exascale-Zeitalter bleiben. Sie bestehen aus einer Vielzahl an Knoten mit CPUs und GPUs, mitunter auch TPUs, FPGAs und ASICs, die durch Hochgeschwindigkeitsnetzwerke miteinander verbunden sind. Um die bestmögliche Performance bezüglich Geschwindigkeit, Latenz, Speicherbedarf und Energiekonsum mit diesen komplexen Maschinen zu erreichen, wurden in den letzten Jahrzehnten zahlreiche Programmiersprachen und Softwarebibliotheken entwickelt. Die vorliegende Arbeit bietet einen Überblick über eine Teilmenge dieser Lösungen und bewertet sie hinsichtlich ihrer Tauglichkeit für den Einsatz im aktuellen Umfeld. Eine Lösung zur Generierung von effizientem Code für einen einzelnen Knoten ist das Programm autoBLAS. In dieser Arbeit wird demonstriert, wie eine Erweiterung von autoBLAS zur automatischen Verteilung von Berechnungen auf mehrere Knoten prinzipiell mittels MPI und Dask realisiert werden kann. Dabei auftretende praktische Probleme werden thematisiert und Lösungsvorschläge geboten.