Extension of the Deep Phase approach to different input modalities

Kurzfassung

Simulatorstudien gehören in der Entwicklung von Fahrerassistenzsystemen schon seit vielen Jahren zu den wichtigsten Untersuchungsmethoden. Einer der Hauptvorteile ist die Möglichkeit, kritische Situationen beliebig häufig ohne Gefährdung des Fahrers reproduzieren zu können. Die Entwicklung hochautomatisierter Fahrzeuge insbesondere im städtischen Einsatzgebiet erfordert jedoch auch ein hohes Maß an Interaktion mit Fußgängern und Fahrradfahrern. Um diese Interaktion besser verstehen und untersuchen zu können, bedarf es auch der Möglichkeit einer direkten Kommunikation zwischen verschiedenen Verkehrsteilnehmern der Simulation. Dazu ist neben dem umfassenden Motion Capturing, also der Erfassung der Körperbewegungen, insbesondere die Erkennung der Gesten der Probanden von besonderem Interesse. Da die Animation stets natürlich und ohne Artefakte umgesetzt werden soll, müssen technische Ungenauigkeiten bei der Erfassung der Bewegungen und Gesten kompensiert werden. Machine Learning Techniken und KI-Algorithmen erscheinen dabei als eine vielversprechende Möglichkeit, um eine solche robuste Gestenerkennung zu erzielen. Aufgabe dieser Masterarbeit ist aufbauend auf bestehenden Hardware- und Software-Modulen eine Gesten- und Posenerkennung auf Basis des DeepPhase Papers von Sebastian Starke [1] zu konzipieren und für die Unreal-Engine umzusetzen. Hierbei soll der im Paper vorgestellte Autoencoder auf das im Mosaic Labor verwendete Omnideck angepasst und die Verwendung neuer Eingabemodalitäten (Daten von IMU Sensoren) untersucht werden. Es soll ein Decoder für die gekoppelten Simulatoren eingerichtet werden, sodass der Encoder und der Decoder jeweils auf einem separaten Rechner laufen können. Durch die Einschränkung der Bewegung während der Verwendung des Omnidecks, sind unnatürliche Bewegungsabläufe zu erwarten. Daher soll untersucht werden, wie die Struktur des gelernten Phasenraums ausgenutzt werden kann, um die übertragenen Bewegungen zu normalisieren und Verhaltensanomalien zu minimieren. Bestandteile der zu verfassenden Masterarbeit sind eine umfassende Literaturrecherche zu Realismus in VR-Simulationen und deren Einbindung in den Kontext. Eine wichtige Aufgabe besteht auch in der Implementierung des DeepPhase-Netzwerks. Hierbei ist zu beachten, dass aufgrund der zuvor beschriebenen Normalisierung die Output-Animation von den Input-Daten abweichen. Zur Bewertung des entwickelten Verfahrens soll dieses mit einer direkten Übermittlung der Daten und dem Abspielen einer fixen Animation im Rahmen einer Nutzerstudie verglichen werden.