elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

Regularization Strength Impact on Neural Network Ensembles

Njieutcheu Tassi, Cedrique Rovile und Boerner, Anko und Triebel, Rudolph (2023) Regularization Strength Impact on Neural Network Ensembles. In: 5th International Conference on Algorithms, Computing and Artificial Intelligence, ACAI 2022. 2022 5th International Conference on Algorithms, Computing and Artificial Intelligence, 2022-12-23 - 2022-12-25, Sanya, China. doi: 10.1145/3579654.3579661. ISBN 978-145039834-3.

[img] PDF - Nur DLR-intern zugänglich
672kB

Offizielle URL: https://dl.acm.org/doi/abs/10.1145/3579654.3579661

Kurzfassung

In the last decade, several approaches have been proposed for regularizing deeper and wider neural networks (NNs), which is of importance in areas like image classification. It is now common practice to incorporate several regularization approaches in the training procedure of NNs. However, the impact of regularization strength on the properties of an ensemble of NNs remains unclear. For this reason, the study empirically compared the impact of NNs built based on two different regularization strengths (weak regularization (WR) and strong regularization (SR)) on the properties of an ensemble, such as the magnitude of logits, classification accuracy, calibration error, and ability to separate true predictions (TPs) and false predictions (FPs). The comparison was based on results from different experiments conducted on three different models, datasets, and architectures. Experimental results show that the increase in regularization strength 1) reduces the magnitude of logits; 2) can increase or decrease the classification accuracy depending on the dataset and/or architecture; 3) increases the calibration error; and 4) can improve or harm the separability between TPs and FPs depending on the dataset, architecture, model type and/or FP type.

elib-URL des Eintrags:https://elib.dlr.de/192934/
Dokumentart:Konferenzbeitrag (Vortrag)
Titel:Regularization Strength Impact on Neural Network Ensembles
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Njieutcheu Tassi, Cedrique RovileCedrique.NjieutcheuTassi (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Boerner, Ankoanko.boerner (at) dlr.dehttps://orcid.org/0000-0002-7176-3588NICHT SPEZIFIZIERT
Triebel, Rudolphrudolph.triebel (at) dlr.dehttps://orcid.org/0000-0002-7975-036XNICHT SPEZIFIZIERT
Datum:März 2023
Erschienen in:5th International Conference on Algorithms, Computing and Artificial Intelligence, ACAI 2022
Referierte Publikation:Ja
Open Access:Nein
Gold Open Access:Nein
In SCOPUS:Ja
In ISI Web of Science:Nein
DOI:10.1145/3579654.3579661
Name der Reihe:ACM International Conference Proceeding Series
ISBN:978-145039834-3
Status:veröffentlicht
Stichwörter:Ensemble, Monte Carlo Dropout (MCD), Mixture of Monte Carlo Dropout (MMCD), Regularization strength, Quality of uncertainty, Calibration error, Separating true predictions (TPs) and false predictions (FPs)
Veranstaltungstitel:2022 5th International Conference on Algorithms, Computing and Artificial Intelligence
Veranstaltungsort:Sanya, China
Veranstaltungsart:internationale Konferenz
Veranstaltungsbeginn:23 Dezember 2022
Veranstaltungsende:25 Dezember 2022
HGF - Forschungsbereich:keine Zuordnung
HGF - Programm:keine Zuordnung
HGF - Programmthema:keine Zuordnung
DLR - Schwerpunkt:Digitalisierung
DLR - Forschungsgebiet:D IAS - Innovative autonome Systeme
DLR - Teilgebiet (Projekt, Vorhaben):D - SKIAS, R - Multisensorielle Weltmodellierung (RM) [RO]
Standort: Berlin-Adlershof
Institute & Einrichtungen:Institut für Optische Sensorsysteme > Echtzeit-Datenprozessierung
Institut für Robotik und Mechatronik (ab 2013)
Institut für Datenwissenschaften
Institut für Robotik und Mechatronik (ab 2013) > Perzeption und Kognition
Hinterlegt von: Njieutcheu Tassi, Cedrique Rovile
Hinterlegt am:14 Jun 2023 12:43
Letzte Änderung:24 Apr 2024 20:54

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.