用于最优频率控制的稳定强化学习：一种基于分布式平均的积分方法
系统与控制
2022-05-03 v1 系统与控制
摘要
频率控制在电力系统可靠运行中起着关键作用。传统上以分层方式执行：先快速稳定频率偏差，再缓慢恢复标称频率。然而，随着发电结构由同步发电机向可再生资源转变，电力系统因惯性丧失而经历更大更快的频率波动，对频率稳定性产生不利影响。这促使了在快速时间尺度上同时解决频率劣化与经济效率的算法研究，其中基于分布式平均的积分（DAI）控制是一种显著方法，它将可控功率注入直接设为频率偏差与经济低效信号的积分的正比量。然而，DAI 通常不考虑功率扰动后系统的暂态性能，且局限于二次运行成本函数。本稿旨在利用非线性最优控制器同时实现最优暂态频率控制并找到最经济的频率恢复功率调度。为此，我们将强化学习（RL）集成到经典 DAI 中，得到 RL-DAI。具体而言，我们利用 RL 学习基于神经网络的控制策略，将 DAI 的积分变量映射到提供最优暂态频率控制的可控功率注入，而 DAI 固有地确保频率恢复与最优经济调度。与现有方法相比，我们提供了所学控制器稳定性的可证明保证，并将允许的成本函数扩展到更广的类别。在 39 节点新英格兰系统上的仿真说明了我们的结果。
引用
@article{arxiv.2205.00411,
title = {Stable Reinforcement Learning for Optimal Frequency Control: A Distributed Averaging-Based Integral Approach},
author = {Yan Jiang and Wenqi Cui and Baosen Zhang and Jorge Cortés},
journal= {arXiv preprint arXiv:2205.00411},
year = {2022}
}