Automatisierte Umgebungserfassung in Mixed Reality

Abstract

In vielen Bereichen der modernen Forschung und Industrie wird international von mehreren Standorten aus an einem gemeinsamen Projekt gearbeitet. Mithilfe des Internets ist es bereits über weite Entfernungen hinweg möglich, gemeinsam miteinander zu kommunizieren und kollaborativ zusammenzuarbeiten. Dennoch befinden sich die jeweiligen Parteien in unterschiedlichen Umgebungen. In dieser Arbeit wird eine Anwendung implementiert, welche die physisch-reale Umgebung eines Benutzer erfasst und in einer dreidimensionalen Rekonstruktion speichert. Sowohl Form, als auch farbiges Erscheinungsbild beliebig großer Umgebungen soll mithilfe moderner Mixed Reality Technik in Echtzeit aufgenommen und anderen über Netzwerk verbundenen Teilnehmern angezeigt werden. Diese Teilnehmer sollen sich unabhängig voneinander frei in der rekonstruierten Umgebung bewegen können. Eine mobile Mixed Reality Brille, die Microsoft HoloLens, soll dabei sowohl Ein- und Ausgabe, als auch die Verarbeitung der Daten übernehmen. Mithilfe der integrierten Sensoren und Kameras wird die Umgebung vermessen und Fotos der Oberflächen aufgenommen. Diese Informationen werden in einer auf der HoloLens laufenden Anwendung verarbeitet. Die dreidimensionale Rekonstruktion kann mithilfe mehrerer Optimierungsverfahren in Echtzeit mit den begrenzten Hardwareressourcen der HoloLens dargestellt werden. Mehrere Teilnehmer können sich mit einer HoloLens verbinden, um die erfasste Umgebung zu empfangen.