Classification algorithms: Logistic regression and neural networks

Abstract

Das Tutorium führt in die mathematischen Grundlagen von Klassifikationsproblemen mit Neuronalen Netzen ein. Dabei sollen folgende Fragen beantwortet werden: Wie funktioniert Überwachtes Lernen (Supervised Learning)? Was ist Klassifikation? Die Loss-Funktion wird eingeführt, welche während des Training des Modells minimiert wird. Wie funktioniert ein Optimierer? Wie kann man mit Regularisierung Overfitting vermeiden und damit Generalisierung verbessern? Als Grundlage von Neuronalen Netzen werden wir die Logistische Regression einführen, welches selbst ein bekanntes Machine Learning Modell ist. Wir zeigen, wie künstliche Neuronen als vereinfachte Variante der biologischen Pendants funktionieren und wie man daraus Neuronale Netzwerke erzeugt. Am Schluss möchten wir das Verständnis scahffen, wie man mit dem Back-Propagation Formalismus den Gradienten der Loss-Funktion (automatisch) berechnen kann, welcher im Training von NN eine entscheidende Rolle spielt.