elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

A Novel Actor Dual-Critic Model for Remote Sensing Image Captioning

Chavhan, Ruchika und Banerjee, Biplab und Zhu, Xiao Xiang und Chaudhuri, Subhasis (2021) A Novel Actor Dual-Critic Model for Remote Sensing Image Captioning. In: 25th International Conference on Pattern Recognition, ICPR 2020, Seiten 4918-4925. ICPR 2020, 2021-01-10 - 2021-01-15, Milan, Italy. doi: 10.1109/ICPR48806.2021.9412486. ISBN 978-1-7281-8808-9. ISSN 1051-4651.

[img] PDF
2MB

Offizielle URL: https://ieeexplore.ieee.org/document/9412486

Kurzfassung

We deal with the problem of generating textual captions from optical remote sensing (RS) images using the notion of deep reinforcement learning. Due to the high inter-class similarity in reference sentences describing remote sensing data, jointly encoding the sentences and images encourages prediction of captions that are semantically more precise than the ground truth in many cases. To this end, we introduce an Actor Dual-Critic training strategy where a second critic model is deployed in the form of an encoder-decoder RNN to encode the latent information corresponding to the original and generated captions. While all actor-critic methods use an actor to predict sentences for an image and a critic to provide rewards, our proposed encoder-decoder RNN guarantees high-level comprehension of images by sentence-to-image translation. We observe that the proposed model generates sentences on the test data highly similar to the ground truth and is successful in generating even better captions in many critical cases. Extensive experiments on the benchmark Remote Sensing Image Captioning Dataset (RSICD) and the UCM-captions dataset confirm the superiority of the proposed approach in comparison to the previous state-of-the-art where we obtain a gain of sharp increments in both the ROUGE-L and CIDEr measures.

elib-URL des Eintrags:https://elib.dlr.de/139445/
Dokumentart:Konferenzbeitrag (Vortrag)
Zusätzliche Informationen:Video on https://www.youtube.com/watch?v=U0kvRU4K9tI
Titel:A Novel Actor Dual-Critic Model for Remote Sensing Image Captioning
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Chavhan, RuchikaNICHT SPEZIFIZIERTNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Banerjee, BiplabNICHT SPEZIFIZIERTNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Zhu, Xiao Xiangxiao.zhu (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Chaudhuri, SubhasisNICHT SPEZIFIZIERTNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Datum:2021
Erschienen in:25th International Conference on Pattern Recognition, ICPR 2020
Referierte Publikation:Ja
Open Access:Ja
Gold Open Access:Nein
In SCOPUS:Ja
In ISI Web of Science:Ja
DOI:10.1109/ICPR48806.2021.9412486
Seitenbereich:Seiten 4918-4925
ISSN:1051-4651
ISBN:978-1-7281-8808-9
Status:veröffentlicht
Stichwörter:remote sensing, image captioning, text captions
Veranstaltungstitel:ICPR 2020
Veranstaltungsort:Milan, Italy
Veranstaltungsart:internationale Konferenz
Veranstaltungsbeginn:10 Januar 2021
Veranstaltungsende:15 Januar 2021
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Raumfahrt
HGF - Programmthema:Erdbeobachtung
DLR - Schwerpunkt:Raumfahrt
DLR - Forschungsgebiet:R EO - Erdbeobachtung
DLR - Teilgebiet (Projekt, Vorhaben):R - Künstliche Intelligenz
Standort: Oberpfaffenhofen
Institute & Einrichtungen:Institut für Methodik der Fernerkundung > EO Data Science
Hinterlegt von: Bratasanu, Ion-Dragos
Hinterlegt am:18 Dez 2020 12:37
Letzte Änderung:24 Apr 2024 20:40

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.