elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

A survey of uncertainty in deep neural networks

Gawlikowski, Jakob und Tassi, Cedrique Rovile Njieutcheu und Ali, Mohsin und Lee, Jongseok und Humt, Matthias und Feng, Jianxiang und Kruspe, Anna und Triebel, Rudolph und Jung, Peter und Roscher, Ribana und Shahzad, Muhammad und Yang, Wen und Bamler, Richard und Zhu, Xiao Xiang (2023) A survey of uncertainty in deep neural networks. Artificial Intelligence Review, 56, Seiten 1513-1589. Springer Nature. doi: 10.1007/s10462-023-10562-9. ISSN 0269-2821.

[img] PDF - Verlagsversion (veröffentlichte Fassung)
4MB

Offizielle URL: https://link.springer.com/article/10.1007/s10462-023-10562-9

Kurzfassung

Over the last decade, neural networks have reached almost every field of science and become a crucial part of various real world applications. Due to the increasing spread, confidence in neural network predictions has become more and more important. However, basic neural networks do not deliver certainty estimates or suffer from over- or under-confidence, i.e. are badly calibrated. To overcome this, many researchers have been working on understanding and quantifying uncertainty in a neural network's prediction. As a result, different types and sources of uncertainty have been identified and various approaches to measure and quantify uncertainty in neural networks have been proposed. This work gives a comprehensive overview of uncertainty estimation in neural networks, reviews recent advances in the field, highlights current challenges, and identifies potential research opportunities. It is intended to give anyone interested in uncertainty estimation in neural networks a broad overview and introduction, without presupposing prior knowledge in this field. For that, a comprehensive introduction to the most crucial sources of uncertainty is given and their separation into reducible model uncertainty and irreducible data uncertainty is presented. The modeling of these uncertainties based on deterministic neural networks, Bayesian neural networks (BNNs), ensemble of neural networks, and test-time data augmentation approaches is introduced and different branches of these fields as well as the latest developments are discussed. For a practical application, we discuss different measures of uncertainty, approaches for calibrating neural networks, and give an overview of existing baselines and available implementations. Different examples from the wide spectrum of challenges in the fields of medical image analysis, robotics, and earth observation give an idea of the needs and challenges regarding uncertainties in the practical applications of neural networks. Additionally, the practical limitations of uncertainty quantification methods in neural networks for mission- and safety-critical real world applications are discussed and an outlook on the next steps towards a broader usage of such methods is given.

elib-URL des Eintrags:https://elib.dlr.de/197298/
Dokumentart:Zeitschriftenbeitrag
Titel:A survey of uncertainty in deep neural networks
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Gawlikowski, JakobJakob.Gawlikowski (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Tassi, Cedrique Rovile NjieutcheuNICHT SPEZIFIZIERTNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Ali, MohsinNICHT SPEZIFIZIERTNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Lee, JongseokJongseok.Lee (at) dlr.dehttps://orcid.org/0000-0002-0960-0809NICHT SPEZIFIZIERT
Humt, MatthiasMatthias.Humt (at) dlr.dehttps://orcid.org/0000-0002-1523-9335NICHT SPEZIFIZIERT
Feng, JianxiangJianxiang.Feng (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Kruspe, AnnaAnna.Kruspe (at) dlr.dehttps://orcid.org/0000-0002-2041-9453NICHT SPEZIFIZIERT
Triebel, RudolphRudolph.Triebel (at) dlr.dehttps://orcid.org/0000-0002-7975-036XNICHT SPEZIFIZIERT
Jung, Peterpeter.jung (at) tu-berlin.dehttps://orcid.org/0000-0001-7679-9697NICHT SPEZIFIZIERT
Roscher, RibanaNICHT SPEZIFIZIERTNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Shahzad, MuhammadMuhammad.Shahzad (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Yang, WenWuhan UniversityNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Bamler, RichardExcellence Senior Faculty, TU MünchenNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Zhu, Xiao Xiangxiaoxiang.zhu (at) tum.dehttps://orcid.org/0000-0001-5530-3613NICHT SPEZIFIZIERT
Datum:29 Juli 2023
Erschienen in:Artificial Intelligence Review
Referierte Publikation:Ja
Open Access:Ja
Gold Open Access:Nein
In SCOPUS:Ja
In ISI Web of Science:Ja
Band:56
DOI:10.1007/s10462-023-10562-9
Seitenbereich:Seiten 1513-1589
Verlag:Springer Nature
ISSN:0269-2821
Status:veröffentlicht
Stichwörter:uncertainty estimation; neural networks
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Raumfahrt
HGF - Programmthema:Robotik
DLR - Schwerpunkt:Raumfahrt
DLR - Forschungsgebiet:R RO - Robotik
DLR - Teilgebiet (Projekt, Vorhaben):R - Erklärbare Robotische KI, R - Künstliche Intelligenz, R - Grundlagenforschung im Bereich Maschinelles Lernen
Standort: Jena
Institute & Einrichtungen:Institut für Datenwissenschaften
Institut für Optische Sensorsysteme
Institut für Robotik und Mechatronik (ab 2013)
Institut für Methodik der Fernerkundung > EO Data Science
Hinterlegt von: Strobl, Dr. Klaus H.
Hinterlegt am:21 Sep 2023 13:06
Letzte Änderung:26 Okt 2023 15:03

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.