elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

Estimating Model Uncertainty of Neural Networks in Sparse Information Form

Lee, Jongseok und Humt, Matthias und Feng, Jianxiang und Triebel, Rudolph (2020) Estimating Model Uncertainty of Neural Networks in Sparse Information Form. In: 37th International Conference on Machine Learning, ICML 2020. Proceedings of Machine Learning Research. 37th International Conference on Machine Learning (ICML), Vienna, Austria. ISBN 978-171382112-0. ISSN 2640-3498.

[img] PDF
1MB

Offizielle URL: https://www.webofscience.com/wos/woscc/full-record/WOS:000683178505077

Kurzfassung

We present a sparse representation of model uncertainty for Deep Neural Networks (DNNs) where the parameter posterior is approximated with an inverse formulation of the Multivariate Normal Distribution (MND), also known as the information form. The key insight of our work is that the information matrix, i.e. the inverse of the covariance matrix tends to be sparse in its spectrum. Therefore, dimensionality reduction techniques such as low rank approximations (LRA) can be effectively exploited. To achieve this, we develop a novel sparsification algorithm and derive a cost-effective analytical sampler. As a result, we show that the information form can be scalably applied to represent model uncertainty in DNNs. Our exhaustive theoretical analysis and empirical evaluations on various benchmarks show the competitiveness of our approach over the current methods.

elib-URL des Eintrags:https://elib.dlr.de/135531/
Dokumentart:Konferenzbeitrag (Anderer)
Titel:Estimating Model Uncertainty of Neural Networks in Sparse Information Form
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Lee, JongseokJongseok.Lee (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Humt, MatthiasDLRNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Feng, JianxiangJianxiang.Feng (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Triebel, RudolphRudolph.Triebel (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Datum:13 Juli 2020
Erschienen in:37th International Conference on Machine Learning, ICML 2020
Referierte Publikation:Ja
Open Access:Ja
Gold Open Access:Nein
In SCOPUS:Ja
In ISI Web of Science:Ja
Verlag:Proceedings of Machine Learning Research
ISSN:2640-3498
ISBN:978-171382112-0
Status:veröffentlicht
Stichwörter:Bayesian Deep Learning, Uncertainty Quantification, Information Theory
Veranstaltungstitel:37th International Conference on Machine Learning (ICML)
Veranstaltungsort:Vienna, Austria
Veranstaltungsart:internationale Konferenz
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Raumfahrt
HGF - Programmthema:Technik für Raumfahrtsysteme
DLR - Schwerpunkt:Raumfahrt
DLR - Forschungsgebiet:R SY - Technik für Raumfahrtsysteme
DLR - Teilgebiet (Projekt, Vorhaben):R - Vorhaben Intelligente Mobilität (alt)
Standort: Oberpfaffenhofen
Institute & Einrichtungen:Institut für Robotik und Mechatronik (ab 2013)
Institut für Robotik und Mechatronik (ab 2013) > Perzeption und Kognition
Hinterlegt von: Lee, Jongseok
Hinterlegt am:21 Jul 2020 09:45
Letzte Änderung:20 Mär 2023 10:57

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.