用于电压-无功控制的强化学习：一种新颖的两阶段渐进训练策略
系统与控制
2021-11-24 v1 系统与控制
摘要
本文开发了一种强化学习（RL）方法，以解决高光伏渗透配电系统的协作式多智能体电压-无功控制（VVC）问题。我们 RL 方法的巧妙之处在于一种新颖的两阶段渐进训练策略，可有效提升机器学习算法的训练速度与收敛性。阶段 1（独立训练）中，在保持所有其他智能体不活跃的同时，我们分别训练每个智能体以在动作空间 {消耗、发电、不动作} 中获得其最优 VVC 动作。阶段 2（协作训练）中，所有智能体再次被协调训练以分担 VVC 责任。我们 RL 方案中的奖励与成本包括（i）系统级奖励（针对采取动作），（ii）智能体级奖励（针对不动作），以及（iii）智能体级动作成本函数。该新框架允许根据各智能体贡献动态分配奖励，同时权衡控制效果与动作成本。所提方法在改进的 IEEE 123-总线系统中使用真实光伏与负荷曲线进行了测试与验证。仿真结果证实，所提方法鲁棒且计算高效，并在广泛运行条件下实现了理想的电压-无功控制性能。
引用
@article{arxiv.2111.11987,
title = {Reinforcement Learning for Volt-Var Control: A Novel Two-stage Progressive Training Strategy},
author = {Si Zhang and Mingzhi Zhang and Rongxing Hu and David Lubkeman and Yunan Liu and Ning Lu},
journal= {arXiv preprint arXiv:2111.11987},
year = {2021}
}
备注
5 pages