Machine Learning Methoden für die optimale Steuerung eines Energiesystems mit Hochtemperaturwärmepumpe

Abstract

Heutzutage spielt die optimale Nutzung von Energie und Ressourcen eine zentrale Rolle beim Betrieb industrieller Systeme. In dieser Arbeit wird ein P2H-System betrachtet, das Wärme in Form von überhitztem Dampf für industrielle Prozesse bereitstellen soll. Das System besteht aus einer Hochtemperatur-Wärmepumpe zur Wärmeversorgung, einer Windturbine zur Stromerzeugung, einem thermischen Energiespeicher zur Speicherung überschüssiger Wärme und einem Dampferzeuger für die Bereitstellung der Prozesswärme. Wenn der Energiebedarf des Systems nicht durch Strom aus der Windturbine gedeckt werden kann, muss zusätzlicher Strom aus dem Stromnetz bezogen werden. Für dieses System wird das kostenoptimale Management untersucht mit dem Ziel, die Kosten für Strom aus dem Netz durch eine geeignete Kombination aus Windkraft und thermischem Speicher des Systems zu minimieren. Dies ist ein Entscheidungsproblem unter Unsicherheiten über die zukünftigen Preise für Strom aus dem Netz und die zukünftige Erzeugung von Windkraft. Ziel dieser Arbeit ist es, eine kostenoptimale Steuerung unter Unsicherheiten zu bestimmen. Dafür wird das resultierende stochastische Optimalsteuerungsproblem als Markov-Entscheidungsprozess mit endlichem Horizont für einen mehrdimensionalen kontrollierten Zustandsprozess behandelt. Darauf aufbauend wird eine geeignete mathematische Theorie eingeführt, damit eine Lösung mit Hilfe von Machine Learning Methoden bestimmt werden kann. Da klassische Methoden unter dem Fluch der Dimensionalität leiden, werden Q-Learning-Techniken angewendet, die in der Lage sind, innerhalb einer angemessenen Zeit eine gute Näherungslösung für das Markov-Entscheidungsprozess zu liefern.