elib
DLR-Header
DLR-Logo -> http://www.dlr.de
DLR Portal Home | Impressum | Datenschutz | Kontakt | English
Schriftgröße: [-] Text [+]

Constructing Novel Recurrent Neural Network Architectures Using Hamiltonian Dynamics

Rusch, Konstantin (2019) Constructing Novel Recurrent Neural Network Architectures Using Hamiltonian Dynamics. Masterarbeit, The University of Edinburgh.

[img] PDF - Nur DLR-intern zugänglich
1MB

Kurzfassung

Recurrent neural networks (RNNs) have gained a great deal of attention in solving sequential learning problems. The learning of long-term dependencies, however, is still an open problem caused by the vanishing or exploding gradient. This problem corresponds to the loss of information in the sequential learning data. The goal is therefore to construct RNNs which can preserve the information at least for very long times. In this thesis we will provide the connection between RNNs and Hamiltonian dynamics which is the natural tool in theoretical physics when it comes to preservation characteristics. We will construct an RNN based on a specific Hamiltonian system and call it Hamiltonian recurrent neural network (HRNN). We will derive a sensitivity analysis for the HRNN and show that we can directly control the hidden states gradient which is causing the vanishing or exploding gradient problem. We demonstrate the superiority of the HRNN compared to other state-of-the-art RNNs by providing several benchmark experiments. Finally, we present a real-world application for the HRNN by forecasting the future trends of a stock based on historical financial data.

elib-URL des Eintrags:https://elib.dlr.de/132366/
Dokumentart:Hochschulschrift (Masterarbeit)
Zusätzliche Informationen:Die Arbeit als Volltext soll noch nicht öffentlich zugänglich gemacht werden, da gerade ein Paper eingereicht wurde
Titel:Constructing Novel Recurrent Neural Network Architectures Using Hamiltonian Dynamics
Autoren:
AutorenInstitution oder E-Mail-AdresseAutoren-ORCID-iDORCID Put Code
Rusch, KonstantinKonstantin.Rusch (at) dlr.deNICHT SPEZIFIZIERTNICHT SPEZIFIZIERT
Datum:August 2019
Referierte Publikation:Nein
Open Access:Nein
Seitenanzahl:42
Status:veröffentlicht
Stichwörter:Machine learning, recurrent neural networks, vanishing gradients, dynamical systems, time series
Institution:The University of Edinburgh
Abteilung:The School of Mathematics
HGF - Forschungsbereich:Luftfahrt, Raumfahrt und Verkehr
HGF - Programm:Raumfahrt
HGF - Programmthema:Technik für Raumfahrtsysteme
DLR - Schwerpunkt:Raumfahrt
DLR - Forschungsgebiet:R SY - Technik für Raumfahrtsysteme
DLR - Teilgebiet (Projekt, Vorhaben):R - Vorhaben SISTEC (alt)
Standort: Köln-Porz
Institute & Einrichtungen:Institut für Simulations- und Softwaretechnik
Hinterlegt von: Siggel, Dr. Martin
Hinterlegt am:10 Dez 2019 11:12
Letzte Änderung:10 Dez 2019 11:12

Nur für Mitarbeiter des Archivs: Kontrollseite des Eintrags

Blättern
Suchen
Hilfe & Kontakt
Informationen
electronic library verwendet EPrints 3.3.12
Gestaltung Webseite und Datenbank: Copyright © Deutsches Zentrum für Luft- und Raumfahrt (DLR). Alle Rechte vorbehalten.