Playing games on a quantum computer using a quantum-enhanced actor-critic method for reinforcement learning

Kurzfassung

Ziel dieser Arbeit ist die Untersuchung der unterschiedlichen Auswirkungen von Variational Quantum Circuits (VQC) im diskreten Soft Actor-Critic (SAC) Algorithmus. Hierzu werden verschiedene Varianten verglichen. Diese verwenden hybride quantum-klassische neuronale Netze entweder nur im Actor, nur im Critic oder in beiden. Als praktische Anwendung dient eine eigens entwickelte und angepasste Version des Spieles Pong. Die Ergebnisse zeigen vergleichbare erlernte Fähigkeiten für die Quantum Actors, bei gleichzeitiger geringerer Parameteranzahl als in der klassischen Variante. Jedoch zeigt sich, dass der Einsatz von VQCs als Critic den Lernprozess bei klassischen sowie Quantum Actors behindert. Wir vermuten den Grund in unzureichend abgestimmten Hyperparametern oder der fehlenden Expressivität des Modells. Abgesehen des Vorteils der geringeren Parameteranzahl zeigt sich ein deutlich langsamerer Trainingsprozess, welcher vermutlich durch die begrenzte Optimierung aktueller Quantum-Simulatoren bedingt ist.