Betrachtung der Gradientenbestimmung für den Adam Algorithmus

Kurzfassung

In dieser Arbeit werden verschiedene Abstiegsverfahren dargestellt. Speziell wird auf das Gradientenverfahren eingegangen und am Beispiel von Empirical Risk Minimization eine Entwicklung bis hin zu adaptiven Verfahren wie dem Adam-Algorithmus beschrieben. Anschließend wird das CLUE-Verfahren erklärt, welches den Adam-Algorithmus zum Lösen einer gewichteten Summe verwendet. Das CLUE-Verfahren verwendet ein Bayesches neuronales Netz und einen Variational Autoencoder, um eine Zielfunktion zu definieren. Diese beiden neuronalen Netze werden beschrieben und es wird erklärt, wie solche trainiert werden können. Für die Zielfunktion wird der Einfluss von verschiedenen Batch-Größen untersucht. Außerdem wird eine modifizierte Abbruchbedingung betrachtet.