Multi-view Aerial Image Fusion for Urban Tree Vitality Classification Using Deep Learning

Kurzfassung

Stadtbäume gehören zu den wirksamsten natürlichen Reaktionen auf Klimastress in Städten. Sie kühlen die Straßen durch Schatten und Evapotranspiration, filtern Luftschadstoffe, fangen Regenwasser auf und binden Kohlenstoff. Diese Leistun gen hängen von der Gesundheit der Bäume ab, die zunehmend durch Dürre, Hit zestress und Schädlingsbefall bedroht wird, was zum Rückgang der Baumkronen und zum Absterben der Bäume führt. Daher ist die Überwachung der Vitalität der Bäume auf städtischer Ebene unerlässlich geworden. Deep Learning auf der Grundlage von Luftbildern bietet eine skalierbare Alternative zu Felduntersuchun gen, doch bestehende Methoden nutzen Spektraldaten aus einer einzigen Ansicht, während die dreidimensionale Kronenstruktur, die eine gesunde Baumkrone von einer geschwächten unterscheidet, üblicherweise nur mit kostspieligem LiDAR er fasst wird. Um diese Lücke zu schließen, schlägt diese Arbeit StereoVitNet vor, ein Dual-Backbone-Modell, das zwei überlappende Stereo-Luftbilder jeder Baum krone zusammenführt, um deren Vitalität zu klassifizieren. Dabei werden Bilder wiederverwendet, die von Vermessungsbehörden bereits im Rahmen routinemäßi ger Befliegungen aufgenommen wurden, und es sind keine zusätzlichen Sensoren erforderlich. Das Modell wird an sehr hochauflösenden RGBI-Stereobildern trai niert und bewertet, die vier ordinale Vitalitätsklassen abdecken. Die Fusion der beiden Ansichten auf Merkmalsebene erhöhte den Makro-F1-Wert von 0,403 bei einer einzelnen Ansicht auf 0,453, und ein kleines Deep Ensemble erreichte 0,478 bei einer Off-by-One-Genauigkeit von etwa 0,92. Diese Ergebnisse zeigen, dass solche Stereobilder strukturelle Hinweise enthalten, die die Vitalitätsbewertung oh ne zusätzliche Aufnahmekosten verbessern. Fasst man die vier Klassen zu gesund und geschädigt zusammen, steigt die Genauigkeit auf etwa 0,82, doch die Treffer quote bei den geschädigten Bäumen bleibt unter der Hälfte, sodass viele von ihnen weiterhin übersehen werden. Die wichtigsten Einschränkungen sind das starke Klas senungleichgewicht, bei dem die seltenste Klasse nur etwa 3% der Bäume ausmacht, sowie die visuelle Überschneidung der mittleren und schweren Schadklassen. Zu künftige Arbeiten sollten mehr Beispiele geschädigter Bäume ergänzen, zusätzliche Stereoansichten einbeziehen und die Übertragbarkeit auf andere Städte und Jahres zeiten prüfen.