elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

Self-supervised vision transformers for joint SAR-optical representation learning

Wang, Yi und Albrecht, Conrad M und Zhu, Xiao Xiang (2022) Self-supervised vision transformers for joint SAR-optical representation learning. In: International Geoscience and Remote Sensing Symposium (IGARSS), Seiten 139-142. IGARSS 2022, 2022-07-17 - 2022-07-22, Kuala Lumpur, Malaysia. doi: 10.1109/IGARSS46834.2022.9883983.

[img] PDF
647kB

Offizielle URL: https://ieeexplore.ieee.org/document/9883983

Kurzfassung

Self-supervised learning (SSL) has attracted much interest in remote sensing and Earth observation due to its ability to learn task-agnostic representations without human annotation. While most of the existing SSL works in remote sensing utilize ConvNet backbones and focus on a single modality, we explore the potential of vision transformers (ViTs) for joint SAR-optical representation learning. Based on DINO, a state-of-the-art SSL algorithm that distills knowledge from two augmented views of an input image, we combine SAR and optical imagery by concatenating all channels to a unified input. Subsequently, we randomly mask out channels of one modality as a data augmentation strategy. While training, the model gets fed optical-only, SAR-only, and SAR-optical image pairs learning both inner- and intra-modality representations. Experimental results employing the BigEarthNet-MM dataset demonstrate the benefits of both, the ViT backbones and the proposed multimodal SSL algorithm DINO-MM.

elib-URL des Eintrags:https://elib.dlr.de/190386/
Dokumentart:Konferenzbeitrag (Vortrag)
Titel:Self-supervised vision transformers for joint SAR-optical representation learning
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Wang, YiYi.Wang (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Albrecht, Conrad MConrad.Albrecht (at) dlr.dehttps://orcid.org/0009-0009-2422-7289NICHT SPEZIFIZIERT
Zhu, Xiao Xiangxiaoxiang.zhu (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Datum:2022
Erschienen in:International Geoscience and Remote Sensing Symposium (IGARSS)
Referierte Publikation:Ja
Open Access:Ja
Gold Open Access:Nein
In SCOPUS:Ja
In ISI Web of Science:Nein
DOI:10.1109/IGARSS46834.2022.9883983
Seitenbereich:Seiten 139-142
Status:veröffentlicht
Stichwörter:Self-supervised learning, vision transformer, multimodal representation learning, remote sensing
Veranstaltungstitel:IGARSS 2022
Veranstaltungsort:Kuala Lumpur, Malaysia
Veranstaltungsart:internationale Konferenz
Veranstaltungsbeginn:17 Juli 2022
Veranstaltungsende:22 Juli 2022
Veranstalter :IEEE GRSS
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Raumfahrt
HGF - Programmthema:Erdbeobachtung
DLR - Schwerpunkt:Raumfahrt
DLR - Forschungsgebiet:R EO - Erdbeobachtung
DLR - Teilgebiet (Projekt, Vorhaben):R - Künstliche Intelligenz
Standort: Oberpfaffenhofen
Institute & Einrichtungen:Institut für Methodik der Fernerkundung > EO Data Science
Hinterlegt von: Wang, Yi
Hinterlegt am:22 Nov 2022 13:14
Letzte Änderung:24 Apr 2024 20:51

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.