工业电力-热系统随机最优控制的强化学习方法

可持续能源供应系统（包括可再生能源和储能）的最优控制在工业系统脱碳中扮演核心角色。然而，波动性可再生能源的使用导致能源发电的波动，需要合适的控制策略来确保复杂系统的能源供应。本文研究了一个用于为工业过程供应过热蒸汽的电力-热系统。该系统由一台高温热泵用于供热、一台风力涡轮机用于发电、一个显热储能装置用于储存多余热量以及一台蒸汽发生器用于供汽组成。若系统能源需求无法由风力涡轮机发出的电力满足，则需从电网额外购电。针对该系统，本文研究了以最小化电网购电成本为目标的最优运行问题，该问题依赖于可用风功率和储存热能的系统控制。这是一个关于电网未来电价和风能未来发电量不确定性的决策问题。由此得到的随机最优控制问题被处理为多维受控状态过程的有限时域马尔可夫决策过程。我们首先考虑求解值函数相关动态规划方程的经典后向递归技术，并计算最优决策规则。由于该方法受维数灾难困扰，我们还应用了强化学习技术，即Q-learning，能够在合理时间内为该优化问题提供良好的近似解。