elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

Look ATME: The Discriminator Mean Entropy Needs Attention

Solano Carrillo, Edgardo und Bueno Rodriguez, Angel und Carrillo Perez, Borja Jesus und Steiniger, Yannik und Stoppe, Jannis (2023) Look ATME: The Discriminator Mean Entropy Needs Attention. In: 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2023. CVPR 2023 Workshop on Generative Models in Computer Vision, 2023-06-17 - 2023-06-24, Vancouver, Canada. doi: 10.1109/CVPRW59228.2023.00086. ISBN 979-835030129-8. ISSN 1063-6919.

[img] PDF
5MB

Kurzfassung

Generative adversarial networks (GANs) are successfully used for image synthesis but are known to face instability during training. In contrast, probabilistic diffusion models (DMs) are stable and generate high-quality images, at the cost of an expensive sampling procedure. In this paper, we introduce a simple method to allow GANs to stably converge to their theoretical optimum, while bringing in the denoising machinery from DMs. These models are combined into a simpler model (ATME) that only requires a forward pass during inference, making predictions cheaper and more accurate than DMs and popular GANs. ATME breaks an information asymmetry existing in most GAN models in which the discriminator has spatial knowledge of where the generator is failing. To restore the information symmetry, the generator is endowed with knowledge of the entropic state of the discriminator, which is leveraged to allow the adversarial game to converge towards equilibrium. We demonstrate the power of our method in several image-to-image translation tasks, showing superior performance than state-of-the-art methods at a lesser cost. Code is available at https://github.com/DLR-MI/atme.

elib-URL des Eintrags:https://elib.dlr.de/195910/
Dokumentart:Konferenzbeitrag (Poster)
Titel:Look ATME: The Discriminator Mean Entropy Needs Attention
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Solano Carrillo, EdgardoEdgardo.SolanoCarrillo (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Bueno Rodriguez, Angelangel.bueno (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Carrillo Perez, Borja JesusBorja.CarrilloPerez (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Steiniger, YannikYannik.Steiniger (at) dlr.dehttps://orcid.org/0000-0002-9327-446XNICHT SPEZIFIZIERT
Stoppe, Jannisjannis.stoppe (at) dlr.dehttps://orcid.org/0000-0003-2952-3422NICHT SPEZIFIZIERT
Datum:2023
Erschienen in:2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2023
Referierte Publikation:Ja
Open Access:Ja
Gold Open Access:Nein
In SCOPUS:Ja
In ISI Web of Science:Ja
DOI:10.1109/CVPRW59228.2023.00086
ISSN:1063-6919
ISBN:979-835030129-8
Status:veröffentlicht
Stichwörter:Deep learning, GAN, pix2pix, image-to-image translation, diffusion models
Veranstaltungstitel:CVPR 2023 Workshop on Generative Models in Computer Vision
Veranstaltungsort:Vancouver, Canada
Veranstaltungsart:internationale Konferenz
Veranstaltungsbeginn:17 Juni 2023
Veranstaltungsende:24 Juni 2023
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Verkehr
HGF - Programmthema:keine Zuordnung
DLR - Schwerpunkt:Verkehr
DLR - Forschungsgebiet:V - keine Zuordnung
DLR - Teilgebiet (Projekt, Vorhaben):V - keine Zuordnung
Standort: Bremerhaven
Institute & Einrichtungen:Institut für den Schutz maritimer Infrastrukturen
Hinterlegt von: Solano Carrillo, Edgardo
Hinterlegt am:20 Nov 2023 14:00
Letzte Änderung:12 Jul 2024 08:23

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.