面向分散式实时电压控制的稳定性约束强化学习
系统与控制
2023-10-04 v3 系统与控制
摘要
深度强化学习已被视为应对电力系统实时控制挑战的有力工具。然而，其在现实电力系统中的部署因缺乏明确的稳定性与安全性保障而受阻。在本文中，我们提出一种用于实时电压控制的稳定性约束强化学习（RL）方法，该方法在策略学习及已学策略部署期间均保障系统稳定。我们方法背后的核心思想在于显式构造的 Lyapunov 函数，其导出稳定策略的充分结构条件，即单调递减策略保障稳定性。我们通过使用单调神经网络参数化各本地电压控制器，将该结构约束与 RL 结合，从而从设计上确保稳定性约束得到满足。我们在单相与三相 IEEE 测试馈线中验证了方法的有效性：相较广泛使用的线性策略，所提方法可将暂态控制代价降低逾 25%，并平均缩短电压恢复时间 21.5%，且始终实现电压稳定。相比之下，标准 RL 方法常无法实现电压稳定。
引用
@article{arxiv.2209.07669,
title = {Stability Constrained Reinforcement Learning for Decentralized Real-Time Voltage Control},
author = {Jie Feng and Yuanyuan Shi and Guannan Qu and Steven H. Low and Anima Anandkumar and Adam Wierman},
journal= {arXiv preprint arXiv:2209.07669},
year = {2023}
}
备注
This paper is accepted by TCNS. arXiv admin note: text overlap with arXiv:2109.14854