Reinforcement learning with variational quantum algorithms for trajectory planning

Kurzfassung

Das Ziel dieser Arbeit ist es, Reinforcement Learning (RL) mit Variational Quantum Circuits (VQCs) mit Fokus auf seine Anwendbarkeit auf verschiedene Standard-RL-Probleme und Spurwechselmanöver zu untersuchen. Die untersuchten Hauptaspekte umfassten Machbarkeit, Einschränkungen und mögliche Vorteile beim Vergleich quantenerweiterter Systeme mit klassischen Systemen in RL. Wir konnten zeigen, dass VQCs mehrere einfache RL-Umgebungen lösen können und ähnliche oder sogar bessere Ergebnisse erzielen als ein klassischer Agent. Für das komplexere Spurwechselmanöver erzielten wir suboptimale Ergebnisse für das aktuelle Setup mit eingeschränkter Hyperparametersuche. Wir haben ferner gezeigt, dass Umgebungen mit einer doppelt so großen Beobachtungsvektorgröße wie zuvor veröffentlicht gelöst werden können. Wir fanden auch Hinweise auf mögliche Quantenvorteile in der Konvergenzrate und Stabilität für diskrete Zustandsraumumgebungen. Darüber hinaus haben wir auch gezeigt, dass der mit einem VQC implementierte Q-Learning-Algorithmus stark rauschanfällig ist, was zu Problemen bei der Verwendung von Noisy Intermediate-Scale Quantum (NISQ)-Hardware führt.