elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

StfNet: A Two-Stream Convolutional Neural Network for Spatiotemporal Image Fusion

Liu, Xun und Deng, Chenwei und Chanussot, Jocelyn und Hong, Danfeng und Zhang, Baojun (2019) StfNet: A Two-Stream Convolutional Neural Network for Spatiotemporal Image Fusion. IEEE Transactions on Geoscience and Remote Sensing, 57 (9), Seiten 6552-6564. IEEE - Institute of Electrical and Electronics Engineers. doi: 10.1109/TGRS.2019.2907310. ISSN 0196-2892.

[img] PDF - Postprintversion (akzeptierte Manuskriptversion)
7MB

Offizielle URL: https://ieeexplore.ieee.org/document/8693668

Kurzfassung

Spatiotemporal image fusion is considered as a promising way to provide Earth observations with both high spatial resolution and frequent coverage, and recently, learning-based solutions have been receiving broad attention. However, these algorithms treating spatiotemporal fusion as a single image super-resolution problem, generally suffers from the significant spatial information loss in coarse images, due to the large upscaling factors in real applications. To address this issue, in this paper, we exploit temporal information in fine image sequences and solve the spatiotemporal fusion problem with a two-stream convolutional neural network called StfNet. The novelty of this paper is twofold. First, considering the temporal dependence among image sequences, we incorporate the fine image acquired at the neighboring date to super-resolve the coarse image at the prediction date. In this way, our network predicts a fine image not only from the structural similarity between coarse and fine image pairs but also by exploiting abundant texture information in the available neighboring fine images. Second, instead of estimating each output fine image independently, we consider the temporal relations among time-series images and formulate a temporal constraint. This temporal constraint aiming to guarantee the uniqueness of the fusion result and encourages temporal consistent predictions in learning and thus leads to more realistic final results. We evaluate the performance of the StfNet using two actual data sets of Landsat-Moderate Resolution Imaging Spectroradiometer (MODIS) acquisitions, and both visual and quantitative evaluations demonstrate that our algorithm achieves state-of-the-art performance.

elib-URL des Eintrags:https://elib.dlr.de/128212/
Dokumentart:Zeitschriftenbeitrag
Titel:StfNet: A Two-Stream Convolutional Neural Network for Spatiotemporal Image Fusion
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Liu, XunBeijing Institute of TechnologyNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Deng, ChenweiBeijing Institute of TechnologyNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Chanussot, Jocelyninstitute nationale polytechnique de grenobleNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Hong, DanfengDanfeng.Hong (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Zhang, BaojunBeijing Institute of TechnologyNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Datum:April 2019
Erschienen in:IEEE Transactions on Geoscience and Remote Sensing
Referierte Publikation:Ja
Open Access:Ja
Gold Open Access:Nein
In SCOPUS:Ja
In ISI Web of Science:Ja
Band:57
DOI:10.1109/TGRS.2019.2907310
Seitenbereich:Seiten 6552-6564
Verlag:IEEE - Institute of Electrical and Electronics Engineers
ISSN:0196-2892
Status:veröffentlicht
Stichwörter:Convolutional neural network, spatiotemporal image fusion, super-resolution, temporal consistency, temporal dependence (TD)
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Raumfahrt
HGF - Programmthema:Erdbeobachtung
DLR - Schwerpunkt:Raumfahrt
DLR - Forschungsgebiet:R EO - Erdbeobachtung
DLR - Teilgebiet (Projekt, Vorhaben):R - Vorhaben hochauflösende Fernerkundungsverfahren (alt)
Standort: Oberpfaffenhofen
Institute & Einrichtungen:Institut für Methodik der Fernerkundung > EO Data Science
Hinterlegt von: Hong, Danfeng
Hinterlegt am:05 Jul 2019 10:24
Letzte Änderung:01 Aug 2020 03:00

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.