Entwicklung und Implementierung einer Reinforcement-Learning-Regelung für ein M250-Triebwerk

Kurzfassung

Diese Arbeit untersucht die Entwicklung einer elektronischen Kraftstoffregelung für das Rolls-Royce M250-C20B-Triebwerk auf Basis eines Reinforcement-Learning-Ansatzes. Hierzu wird der Soft-Actor-Critic-Algorithmus implementiert, der die Exploration des Agenten über eine Entropieregulierung steuert und damit die Robustheit des Reglers beeinflusst. Die Zustandsdefinition sowie die Belohnungsfunktion werden gezielt an das vorliegende Regelproblem angepasst. Die Umsetzung und Evaluation erfolgen vollständig in MATLAB/Simulink. Im Rahmen der Untersuchung wird zunächst die Regelung durch den entwickelten Reinforcement-Learning-Regler analysiert. Darüber hinaus werden der Einfluss der adaptiven Anpassung des Temperaturparameters sowie die Robustheit des Verfahrens mittels Domain Randomization untersucht. Zusätzlich erfolgt ein Vergleich mit dem bestehenden Kaskadenregler. Die Ergebnisse zeigen, dass der entwickelte Reinforcement-Learning-Regler eine hohe Regelgüte erreicht und das gewünschte Systemverhalten zuverlässig abbildet. Darüber hinaus begünstigt die adaptive Temperaturregelung insbesondere zu Beginn des Trainings eine schnellere Konvergenz, während sich bei längerer Trainingsdauer eine vergleichbare optimale Policy einstellt. Gleichzeitig kann eine unzureichende Entropieregulierung die Robustheit in Abhängigkeit vom gewählten α negativ beeinflussen. Zudem wird deutlich, dass das Messrauschen der Drehzahlen einen signifikanten Einfluss auf das Tracking-Verhalten hat. Insgesamt übertrifft die Regelgüte des Reinforcement-Learning-basierten Reglers die der aktuell integrierten elektronischen Regeleinheit, die auf einem Kaskadenregler basiert