elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Barrierefreiheit | Kontakt | English
Schriftgröße: [-] Text [+]

Multimodal Learning for Earth Observation: Automating Satellite Image Captioning with Geo-FMs

Chiarabini, Luca und Espinoza Molina, Daniela und Zappacosta, Antony und Kuzu, Ridvan Salih und Camero, Andres (2025) Multimodal Learning for Earth Observation: Automating Satellite Image Captioning with Geo-FMs. Helmholtz AI Conference 2025, 2025-06-03 - 2025-06-05, Karlsruhe.

[img] PDF
580kB

Kurzfassung

The automatic generation of captions for satellite images can enhance the accessibility and interpretability of Earth Observation (EO) data. In this study, we compare two approaches to image captioning: TerraMind, a model developed within the FAST-EO project specifically for satellite imagery, and BLIP-2, a generic multimodal model trained on RGB images. The dataset used, SmallMinesDS, consists of annotated satellite images from five districts in Ghana, where unregulated small-scale gold mining threatens cocoa farmlands. Our evaluation focuses on caption accuracy, specificity, and adaptability to EO imagery, highlighting the strengths and limitations of each approach in the context of environmental monitoring.

elib-URL des Eintrags:https://elib.dlr.de/215040/
Dokumentart:Konferenzbeitrag (Poster)
Titel:Multimodal Learning for Earth Observation: Automating Satellite Image Captioning with Geo-FMs
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Chiarabini, Lucaluca.chiarabini (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Espinoza Molina, DanielaDaniela.EspinozaMolina (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Zappacosta, Antonyantony.zappacosta (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Kuzu, Ridvan SalihRidvan.Kuzu (at) dlr.dehttps://orcid.org/0000-0002-1816-181XNICHT SPEZIFIZIERT
Camero, AndresAndres.CameroUnzueta (at) dlr.dehttps://orcid.org/0000-0002-8152-9381NICHT SPEZIFIZIERT
Datum:3 Juni 2025
Referierte Publikation:Nein
Open Access:Ja
Gold Open Access:Nein
In SCOPUS:Nein
In ISI Web of Science:Nein
Status:veröffentlicht
Stichwörter:Satellite image captioning, Earth Observation (EO), TerraMind, Multimodal models, AI
Veranstaltungstitel:Helmholtz AI Conference 2025
Veranstaltungsort:Karlsruhe
Veranstaltungsart:nationale Konferenz
Veranstaltungsbeginn:3 Juni 2025
Veranstaltungsende:5 Juni 2025
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Raumfahrt
HGF - Programmthema:Erdbeobachtung
DLR - Schwerpunkt:Raumfahrt
DLR - Forschungsgebiet:R EO - Erdbeobachtung
DLR - Teilgebiet (Projekt, Vorhaben):R - Künstliche Intelligenz, R - Optische Fernerkundung, R - Maschinelles Lernen, R - Fernerkundung u. Geoforschung
Standort: Oberpfaffenhofen
Institute & Einrichtungen:Institut für Methodik der Fernerkundung > EO Data Science
Hinterlegt von: Chiarabini, Luca
Hinterlegt am:09 Jul 2025 13:53
Letzte Änderung:09 Jul 2025 13:53

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
OpenAIRE Validator logo electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.