用于机组组合问题的强化学习与树搜索方法

机组组合（UC）问题确定发电机组运行计划以满足需求，是电力系统运行中的一项基本任务。现有的使用混合整数规划的 UC 方法不太适用于高度随机的系统。更严格考虑不确定性的方法可通过降低旋转备用需求、以更高效率运行电站以及整合更大规模的可变可再生能源，带来运行成本的显著降低。解决 UC 问题的一个有前景的方法是强化学习（RL），这是一种最优决策方法，已用于攻克人工智能中长期存在的重大挑战。本论文探讨了 RL 在 UC 问题中的应用，并解决了包括不确定性下的鲁棒性、跨多个问题实例的泛化能力以及扩展到比以往研究所用更大电力系统等挑战。为应对这些问题，我们开发了引导树搜索这一结合无模型 RL 与基于模型规划的新型方法。我们将 UC 问题形式化为马尔可夫决策过程，并基于英国电力系统真实数据开发了开源环境以训练 RL 智能体。在多达 100 台发电机的问题中，引导树搜索被证明可与确定性 UC 方法竞争，将运行成本降低多达 1.4%。RL 的一个优势是该框架可轻松扩展以纳入对电力系统运营商重要的考量，例如对发电机故障、弃风或碳价的鲁棒性。当考虑发电机停机时，引导树搜索相比使用常规 $N-x$ 备用准则的方法节省超过 2% 的运行成本。