Implementation of in-situ Plant Health Visualization for Controlled Environment Agriculture using Microsoft HoloLens 2

Kurzfassung

Die Literaturrecherche zu Techniken der Pflanzengesundheitsüberwachung innerhalb von stark technisch kontrollierten Pflanzenproduktionssystemen ergab eine Forschungslücke bei der mobilen, vor Ort Darstellung von Single Image - Normalized Difference Vegetation Index (SI-NDVI) Messwerten. Da angenommen wurde, dass die hohe Portabilität von Augmented Reality (AR) Geräten für diese Anwendung gut geeignet ist, wurde die Literaturrecherche um die Einbindung von externen Sensordaten zur Darstellung mittels AR Geräten erweitert. Dabei konnten keine Forschungsergebnisse oder Beispielanwendungen zur Darstellung von externen Sensordaten mittels AR Geräten gefunden werden. Daraufhin wurde die folgende Forschungsfrage gestellt: "Können AR Geräte zur mobilen, vor Ort Darstellung von SINDVI Messwerten innerhalb von stark technisch kontrollierten Pflanzenproduktionssystemen genutzt werden?". Zur Beantwortung dieser Frage wurde ein neuartiges System zur mobilen, vor Ort Darstellung von SI-NDVI Messungen unter Verwendung der Microsoft HoloLens 2 (HL2) konzeptioniert, implementiert und getestet. Diese Arbeit dokumentiert den dazugehörigen Prozess und beinhaltet des Weiteren eine Diskussion der Ergebnisse und einen Ausblick weiterer Forschungsaktivitäten. Ein Teil der Diskussion ist eine kurze Einschätzung zur Übertragbarkeit des entwickeltes Systems in andere Pflanzenproduktionskontexte. Da sich die vorgefundenen Forschungsergebnisse zur Verwendung von SI-NDVI Messungen auf die Anwendung im EDEN ISS Projekt beziehen, wurde das dazugehörige Pflanzenproduktionssystem als Grundlage für die Definition der operativen Rahmenbedingungen verwendet. Das EDEN ISS Projekt erprobt Schlüsseltechnologien für die künftige Lebensmittelproduktion im Weltraum und betreibt hierfür eine vertikale Indoor Farm in der Antarktis nahe der Neumayer-Station III. Während der Konzeption wurde das Kamerasystem University of Florida Spectral Imager (UFSI) zur Erfassung der Bilddaten ausgewählt. Dieses Kamerasystem basiert auf einer GoPro Hero 4 Black (GP4), die mittels Ribcage Back-Bone Kit modifiziert wurde. Das Modifikationsset ermöglicht es einen NDVI-7 Filter sowie ein MP-10 Objektiv mit Infrarotkorrektur nachzurüsten. Die kompakten Abmessungen und das geringe Gewicht der GP4 ermöglichten es, die Kamera auf dem Visier der HL2 zu montieren. Basierend auf definierten Anforderungen wurde ein frei verfügbarer Befestigungsmechanismus 3D gedruckt. Der Befestigungsmechanismus beinhaltet zwei Seitenclips die zur Befestigung in die vorgesehenen Befestigungsschlitze des HL2 Visiers geschoben werden. Die Befestigung der GP4 an dem Befestigungsmechanismus mittels einer Sechskantschraube ermöglicht eine schnelle Befestigung und eine feste Fixierung. Die Softwareentwicklung umfasste die Integration des Video Livestreams der GP4, die Bildverarbeitung zur Erzeugung von Falschfarbenbildern basierend auf den berechneten SI-NDVI Werten für jeden Pixel und die letztendliche Darstellung der FCIs als Hologramm. Des Weiteren wurde eine Methode implementiert, die es ermöglicht das dargestellte Hologramm mit der Realität zu überlagern. Während der Konzeption wurde beschlossen, die Laufzeitverarbeitung der AR Anwendung sowie die rechenintensive Bildverarbeitung auf einen Computerprozessor auszulagern. Der Grund hierfür war, dass davon ausgegangen wurde, dass die höhere Prozessorleistung des Computers und die externe Stromversorgung höhere Bildraten und eine längere Akkulaufzeit der HL2 ermöglichen würde. Die Übertragung der Hologramme vom Computer zur HL2 wurde mittels der Anwendung Holographic Remote Player realisiert. Für die Implementierung der Laufzeitfunktionalitäten wird das Unity Framework verwendet, welches auf der Programmiersprache C# basiert. Das vergleichbare AR Framework Unreal Engine verwendet für die Implementierung der Laufzeitfunktionalitäten die aufwendigere Programmiersprache C++. Mit Hinblick auf die rechenintensive Bildverarbeitung, die für die Generierung der Falschfarbenbilder erforderlich ist, wurde entschieden, dass diese mit der performanteren Programmiersprache C++ implementiert werden soll. Um zu ermöglichen, dass Unity die C++ Funktionen während der Laufzeit aufrufen kann, werden die C++ Funktionen in eine Dynamic Link Library (DLL) Datei kompiliert. Durch das anschließende Kopieren der DLL Dateien in den Plugin Ordner des Unity Projektes, werden die kompilierten C++ Funktionen beim Start der Applikation in die entsprechende Laufzeit geladen. Die Software-Architektur, die sich aus der gleichzeitigen Nutzung des C# Skripts und der C++ Funktionen ergibt, erfordert die gemeinsame Nutzung des Prozessorspeichers. Dies wird durch die Pinned Allokation von Prozessorspeicher ermöglicht. Die Speicheradresse des fixierten Speichers wird somit innerhalb der Funktionsaufrufe von Unity an die C++ Funktionen übergeben. Nach der Bildverarbeitung kopieren die C++ Funktionen die generierten Falschfabenbilder in den vorgesehen Prozessorspeicher. Anschließend stellt die Unity Sprite Renderer Komponente das aktuellste Falschfarbenbild auf einer rechteckige Fläche innerhalb der Szene dar. Die Holographic Remote Player Applikation erfordert, dass sich der sendende Computer und die HL2 im selben lokalen Netzwerk befinden. Gleichzeitig verfügt die GP4 nur über einen Access Point (AP). Daraus ergab sich die Notwendigkeit ein spezielles Netzwerksystem zu implementieren, welches die gleichzeitige Datenübertragung zwischen GP4 und Computer und Computer und HL2 ermöglicht. Hierzu wurde ein zusätzlicher Router zu einem Bridge Router umkonfiguriert und mittels LAN Kabel an den Home Router des lokalen Netzwerks angeschlossen. Während anschließender Offline-Tests, ohne die Übertragung der Unity Szene auf die HL2, konnten Vergleiche von Falschfarbenbildern generiert durch die implementierte Bildverarbeitung und dem empfohlenen Bildverarbeitungsprogramm Fiji die korrekte Softwareprogrammierung der Bildverarbeitung bestätigen. Darüber hinaus ermöglichten die Tests die Identifikation der idealen Einstellungen zur Generierung der Falschfarbenbilder unter Verwendung von drei definierten Kriterien zur Bewertung der Darstellung. Die drei Kriterien betreffen die visuelle Separation einzelner Pflanzenteile sowie die visuelle Separation der Pflanzen zu ihrer Umgebung. Die visuelle Separation soll die räumliche Orientierung und Zuordnung der inspizierten Pflanzenteile durch den Anwender ermöglichen. Darüber hinaus wurde die intuitive Farbgebung im Hinblick auf die Pflanzengesundheit als ein weiteres Kriterium definiert. Unabhängig von dem Vergleich zu dem Fiji Programm, wurden die Effekte der Vorverarbeitungsmethoden Histogrammequalisierung und Erhöhung der Farbsättigung auf die Farbverteilung veranschaulicht. Aufgrund der dadurch erzielten Nachvollziehbarkeit der Vorverarbeitungsmethoden konnte die Korrektheit des implementierten Software Codes zusätzlich bestätigt werden. Des Weiteren wurde eine eigens entwickelte Farbkanalmodifikationen vorgestellt, die eine verbesserte Optimierung der intuitiven Farbgebung erzielte. Darauffolgende Funktionstests und Tests zur allgemeinen Darstellbarkeit der SI-NDVI Messungen durch das Übertragen der Falschfarbenbilder an die HL2 bestätigten die erfolgreiche Implementierung des konzipierten Systems. Mit Bezug zur Forschungsfrage konnte somit die grundlegende Anwendbarkeit von AR Geräten zu mobilen, vor Ort Darstellung von SI-NDVI Messungen bestätigt werden. Um die Systemspezifikation und -limitationen weiter zu analysieren, wurden weitere Tests durchgeführt. Die Jollygreen Cyant Lookup Table (LUT) wurde im Hinblick auf die definierten Bewertungskriterien der Darstellbarkeit und im Vergleich zu zwei weiteren LUTs als am besten bewertet. Außerdem wurde festgestellt, dass die Kombination aus der Jollygreen Cyant LUT, der Vorverarbeitungsmethode Histogrammequalisierung und die eigens entwickelte Farbkanalmodifikationen die idealste Darstellbarkeit erzielt. Unter Berücksichtigung dieser Beobachtung wurde unter Verwendung zweier möglichst ähnlichen Tomatenpflanzen ein Salzstress-Test durchgeführt. Der Test umfasste die Inspektion der Pflanzenblätter unter LED Anbaulicht bevor und nachdem eine der Pflanzen mit Salzwasser bewässert wurde. Die Aufzeichnung eines HL2 BildschirmVideos ermöglichte die Analyse von sich ergebenden Unterschieden in der Farbgebung der Blätter vor der Stressapplikation und danach. Um Fehlinterpretationen aufgrund von inspektionswinkelabhängiger Farbgebung möglichst auszuschließen zu können, wurden die Inspektionen aus einer Seitensicht und einer Draufsicht durchgeführt. Des Weiteren wurden zum Ausschluss von blattspezifischer- und blattebenenabhängiger Farbgebung pro Pflanze drei Blätter untersucht die jeweils auf der unteren, mittleren und oberen Ebene der Pflanze angeordnet waren. Die Testergebnisse zeigten bei allen drei Blättern der gestressten Pflanze Farbgebungsunterschiede, die unter Berücksichtigung der Jollygreen Cyant Farbskala mit reduziertem SI-NDVI Messwerten assoziiert werden. Die Blätter der Kontrollpflanze zeigten während beider Inspektionen keine signifikanten Unterschiede in der Farbgebung. Daraus wurde der Schluss gezogen, dass das entwickelte System unter der angewandten Methodik die Identifikation von Pflanzenstresszuständen zulässt. Während der Tests wurde jedoch festgestellt, dass der Winkel mit dem die Pflanzenblätter inspiziert werden einen signifikanten Einfluss auf die Farbgebung hat. In der Diskussion wurde herausgestellt, dass die Bildschirmaufnahmen der HL2 den Schluss zulassen, dass unter anderem die Ausleuchtung des inspizierten Pflanzenblattes einen starken Einfluss auf die Farbgebung hat. Diesbezüglich wurde durch Mishra et al. [2017] ebenfalls von einer Abhängigkeit der Hyperspektral Analysen von der Ausleuchtung berichtet. Neben der dadurch vermuteten Messungenauigkeiten während des Salzstress-Tests ergibt sich somit ein weiterer Forschungsbedarf bezüglich des beschriebenen Effekts.