一种用于分散式逆变器电压控制的可扩展网络感知多智能体强化学习框架
最优化与控制
2023-12-08 v1 机器学习
多智能体系统
系统与控制
系统与控制
摘要
本文探讨了由于分布式电源（DG）增加而导致的电网分散式电压控制相关挑战。传统的基于模型的电压控制方法难以应对这些DG的快速能量波动和不确定性。虽然多智能体强化学习（MARL）已显示出用于分散式二次控制的潜力，但在处理大量DG时会出现可扩展性问题。此问题在于主流的集中式训练分散式执行（CTDE）框架，其中评论家获取全局观测和动作。为克服这些挑战，我们提出了一种可扩展网络感知（SNA）框架，该框架利用网络结构截断评论家Q函数的输入，从而提高可扩展性并降低训练期间的通信成本。此外，SNA框架具有可证明的近似保证的理论基础，并且可以无缝集成多种多智能体Actor-Critic算法。所提出的SNA框架在一个包含114个DG的系统中成功演示，为日益复杂的电网系统中的分散式电压控制提供了一种有前景的解决方案。
引用
@article{arxiv.2312.04371,
title = {A Scalable Network-Aware Multi-Agent Reinforcement Learning Framework for Decentralized Inverter-based Voltage Control},
author = {Han Xu and Jialin Zheng and Guannan Qu},
journal= {arXiv preprint arXiv:2312.04371},
year = {2023}
}