Laufzeitüberwachung neuronaler Netze für die kameragestützte Umgebungswahrnehmung autonomer Drohnen

Abstract

Um große Datenmengen schnell zu verarbeiten, kommen bei der Entwicklung von autonomen Systemen zunehmend neuronale Netze zum Einsatz. Aufgrund der Vorhersagen der neuronalen Netze werden dann Entscheidungen vom System getroffen und Funktionen ausgeführt. Der Einsatz dieser Systeme mit Methoden des maschinellen Lernens (Machine Learning (ML)) haben den Nachteil, dass ihre komplexe interne Struktur die Überprüfung korrekter Funktionalität erschwert. Dies ist insbesondere in sicherheitskritischen Bereichen ein Problem, in denen eine Fehlfunktion jeglicher Art großen Schaden anrichten kann - so auch in der Luftfahrt, dem Anwendungsbereich dieser Arbeit. Um Personenschäden durch unbemannte Luftfahrzeuge (unmanned aerial vehicle (UAV)), insbesondere in städtischen Gebieten, zu vermeiden, wird eine Personenerkennung eingesetzt. Da dieses System mit Methoden des maschinellen Lernens implementiert ist, kann seine Funktionsfähigkeit nicht sicher durch herkömmliche Methoden der Systemüberprüfung gewährleistet werden. Stattdessen schlägt diese Arbeit vor, die Zuverlässigkeit durch die Erkennung von sogenanntem Out-of distribution (OOD) Input zu verbessern. Diese Klassifizierung erfolgt durch den Vergleich der Eingabe mit der Verteilung der Trainingsdaten des neuronalen Netzes. Die in dieser Arbeit umgesetzten Methoden der Sensory Anomaly Detection konzentrieren sich dabei auf die Erkennung von OOD-Daten, welche durch Covariate Datashift entstehen. Hierfür wird die Trainingsdatenverteilung durch die Verteilung verschiedener Bildmerkmale beschrieben, die aus konventionellen Bildeigenschaften abgeleitet werden. Über statistische Methoden wird dann ein Aussortieren von Inputdaten vorgenommen. Dieser so umgesetzte OOD-Detektor wird anhand eines spezifisch für diesen Anwendungsfall erstellten Testdatensatzes validiert und anschließend in einem eingebetteten System eines UAVs im Bereich der Forschung implementiert.