elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

Kronecker-Factored Optimal Curvature

Schnaus, Dominik und Lee, Jongseok und Triebel, Rudolph (2021) Kronecker-Factored Optimal Curvature. In: Bayesian Deep Learning NeurIPS 2021 Workshop. Bayesian Deep Learning NeurIPS 2021 Workshop, 2021-12-13 - 2021-12-14, Virtual.

[img] PDF
318kB

Kurzfassung

The current scalable Bayesian methods for Deep Neural Networks (DNNs) often rely on the Fisher Information Matrix (FIM). For the tractable computations of the FIM, the Kronecker-Factored Approximate Curvature (K-FAC) method is widely adopted, which approximates the true FIM by a layer-wise block-diagonal matrix, and each diagonal block is then Kronecker-factored. In this paper, we propose an alternative formulation to obtain the Kronecker-factored FIM. The key insight is to cast the given FIM computations into an optimization problem over the sums of Kronecker products. In particular, we prove that this formulation is equivalent to the best rank-one approximation problem, where the well-known power iteration method is guaranteed to converge to an optimal rank-one solution - resulting in our novel algorithm: the Kronecker-Factored Optimal Curvature (K-FOC). In a proof-of-concept experiment, we show that the proposed algorithm can achieve more accurate estimates of the true FIM when compared to the K-FAC method.

elib-URL des Eintrags:https://elib.dlr.de/145806/
Dokumentart:Konferenzbeitrag (Poster)
Titel:Kronecker-Factored Optimal Curvature
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Schnaus, Dominikdominik.schnaus (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Lee, JongseokJongseok.Lee (at) dlr.dehttps://orcid.org/0000-0002-0960-0809NICHT SPEZIFIZIERT
Triebel, RudolphRudolph.Triebel (at) dlr.dehttps://orcid.org/0000-0002-7975-036XNICHT SPEZIFIZIERT
Datum:14 Dezember 2021
Erschienen in:Bayesian Deep Learning NeurIPS 2021 Workshop
Referierte Publikation:Ja
Open Access:Ja
Gold Open Access:Nein
In SCOPUS:Nein
In ISI Web of Science:Nein
Status:veröffentlicht
Stichwörter:Information theory, Deep Neural Networks, Fisher Information Matrix, Kronecker Factorization
Veranstaltungstitel:Bayesian Deep Learning NeurIPS 2021 Workshop
Veranstaltungsort:Virtual
Veranstaltungsart:Workshop
Veranstaltungsbeginn:13 Dezember 2021
Veranstaltungsende:14 Dezember 2021
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Raumfahrt
HGF - Programmthema:Robotik
DLR - Schwerpunkt:Raumfahrt
DLR - Forschungsgebiet:R RO - Robotik
DLR - Teilgebiet (Projekt, Vorhaben):R - Intelligente Mobilität (RM) [RO]
Standort: Oberpfaffenhofen
Institute & Einrichtungen:Institut für Robotik und Mechatronik (ab 2013)
Institut für Robotik und Mechatronik (ab 2013) > Perzeption und Kognition
Hinterlegt von: Lee, Jongseok
Hinterlegt am:22 Nov 2021 17:33
Letzte Änderung:22 Jul 2024 13:45

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.