elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

Non-Parametric Calibration for Classification

Wenger, Jonathan und Kjellström, Hedvig und Triebel, Rudolph (2020) Non-Parametric Calibration for Classification. In: 23rd International Conference on Artificial Intelligence and Statistics, AISTATS. International Conference on Artificial Intelligence and Statistics (AISTATS), 2020-08-26 - 2020-08-28, Virtual. ISSN 2640-3498.

[img] PDF
1MB

Kurzfassung

Many applications of classification methods not only require high accuracy but also reliable estimation of predictive uncertainty. However, while many current classification frameworks, in particular deep neural networks, achieve high accuracy, they tend to incorrectly estimate uncertainty. In this paper, we propose a method that adjusts the confidence estimates of a general classifier such that they approach the probability of classifying correctly. In contrast to existing approaches, our calibration method employs a non-parametric representation using a latent Gaussian process, and is specifically designed for multi-class classification. It can be applied to any classifier that outputs confidence estimates and is not limited to neural networks. We also provide a theoretical analysis regarding the over- and underconfidence of a classifier and its relationship to calibration, as well as an empirical outlook for calibrated active learning. In experiments we show the universally strong performance of our method across different classifiers and benchmark data sets, in particular for state-of-the art neural network architectures.

elib-URL des Eintrags:https://elib.dlr.de/135322/
Dokumentart:Konferenzbeitrag (Vortrag)
Titel:Non-Parametric Calibration for Classification
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Wenger, JonathanUniversity of Tübingenhttps://orcid.org/0000-0003-2261-1331NICHT SPEZIFIZIERT
Kjellström, HedvigKTH Royal Institute of Technologyhttps://orcid.org/0000-0002-5750-9655NICHT SPEZIFIZIERT
Triebel, RudolphRudolph.Triebel (at) dlr.dehttps://orcid.org/0000-0002-7975-036XNICHT SPEZIFIZIERT
Datum:August 2020
Erschienen in:23rd International Conference on Artificial Intelligence and Statistics, AISTATS
Referierte Publikation:Ja
Open Access:Ja
Gold Open Access:Nein
In SCOPUS:Ja
In ISI Web of Science:Ja
ISSN:2640-3498
Status:veröffentlicht
Stichwörter:Supervised deep learning; Classification; Uncertainty Estimation; Gaussian Processes
Veranstaltungstitel:International Conference on Artificial Intelligence and Statistics (AISTATS)
Veranstaltungsort:Virtual
Veranstaltungsart:internationale Konferenz
Veranstaltungsbeginn:26 August 2020
Veranstaltungsende:28 August 2020
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Raumfahrt
HGF - Programmthema:Technik für Raumfahrtsysteme
DLR - Schwerpunkt:Raumfahrt
DLR - Forschungsgebiet:R SY - Technik für Raumfahrtsysteme
DLR - Teilgebiet (Projekt, Vorhaben):R - Vorhaben Multisensorielle Weltmodellierung (alt)
Standort: Oberpfaffenhofen
Institute & Einrichtungen:Institut für Robotik und Mechatronik (ab 2013) > Perzeption und Kognition
Hinterlegt von: Triebel, Rudolph
Hinterlegt am:25 Nov 2020 09:44
Letzte Änderung:24 Apr 2024 20:38

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.