elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

Aerial Scene Understanding in The Wild: Multi-Scene Recognition via Prototype-based Memory Networks

Hua, Yuansheng und Mou, LiChao und Lin, Jianzhe und Heidler, Konrad und Zhu, Xiao Xiang (2021) Aerial Scene Understanding in The Wild: Multi-Scene Recognition via Prototype-based Memory Networks. ISPRS Journal of Photogrammetry and Remote Sensing, 177, Seiten 89-102. Elsevier. doi: 10.1016/j.isprsjprs.2021.04.006. ISSN 0924-2716.

[img] PDF - Verlagsversion (veröffentlichte Fassung)
16MB

Offizielle URL: https://www.sciencedirect.com/science/article/pii/S0924271621001015

Kurzfassung

Aerial scene recognition is a fundamental visual task and has attracted an increasing research interest in the last few years. Most of current researches mainly deploy efforts to categorize an aerial image into one scene-level label, while in real-world scenarios, there often exist multiple scenes in a single image. Therefore, in this paper, we propose to take a step forward to a more practical and challenging task, namely multi-scene recog-nition in single images. Moreover, we note that manually yielding annotations for such a task is extraordinarily time- and labor-consuming. To address this, we propose a prototype-based memory network to recognize mul-tiple scenes in a single image by leveraging massive well-annotated single-scene images. The proposed network consists of three key components: 1) a prototype learning module, 2) a prototype-inhabiting external memory, and 3) a multi-head attention-based memory retrieval module. To be more specific, we first learn the prototype representation of each aerial scene from single-scene aerial image datasets and store it in an external memory. Afterwards, a multi-head attention-based memory retrieval module is devised to retrieve scene prototypes relevant to query multi-scene images for final predictions. Notably, only a limited number of annotated multi- scene images are needed in the training phase. To facilitate the progress of aerial scene recognition, we pro-duce a new multi-scene aerial image (MAI) dataset. Experimental results on variant dataset configurations demonstrate the effectiveness of our network. Our dataset and codes are publicly available.

elib-URL des Eintrags:https://elib.dlr.de/141718/
Dokumentart:Zeitschriftenbeitrag
Titel:Aerial Scene Understanding in The Wild: Multi-Scene Recognition via Prototype-based Memory Networks
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Hua, YuanshengYuansheng.Hua (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Mou, LiChaoLiChao.Mou (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Lin, JianzheECE, British ColumbiaNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Heidler, KonradKonrad.Heidler (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Zhu, Xiao Xiangxiao.zhu (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Datum:Juli 2021
Erschienen in:ISPRS Journal of Photogrammetry and Remote Sensing
Referierte Publikation:Ja
Open Access:Ja
Gold Open Access:Nein
In SCOPUS:Ja
In ISI Web of Science:Ja
Band:177
DOI:10.1016/j.isprsjprs.2021.04.006
Seitenbereich:Seiten 89-102
Verlag:Elsevier
ISSN:0924-2716
Status:veröffentlicht
Stichwörter:Convolutional neural network (CNN), Multi-scene recognition in single images, Memory network, Multi-scene aerial image dataset, Multi-head attention-based memory retrieval, Prototype learning
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Raumfahrt
HGF - Programmthema:Erdbeobachtung
DLR - Schwerpunkt:Raumfahrt
DLR - Forschungsgebiet:R EO - Erdbeobachtung
DLR - Teilgebiet (Projekt, Vorhaben):R - Künstliche Intelligenz
Standort: Oberpfaffenhofen
Institute & Einrichtungen:Institut für Methodik der Fernerkundung > EO Data Science
Hinterlegt von: Bratasanu, Ion-Dragos
Hinterlegt am:14 Apr 2021 16:55
Letzte Änderung:28 Jun 2023 13:14

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.