PowerNet：面向可扩展电网控制的多智能体深度强化学习
系统与控制
2021-08-03 v2 多智能体系统
系统与控制
摘要
本文开发了一种高效的多智能体深度强化学习算法，用于电网中的协同控制。具体而言，我们考虑分布式发电机（DG）中基于逆变器的分散式二次电压控制问题，其首先被建模为协同多智能体强化学习（MARL）问题。我们随后提出一种新颖的在线 MARL 算法 PowerNet，其中每个智能体（DG）基于（子）全局奖励但利用其相邻智能体的局部状态学习控制策略。受单一智能体的局部控制对其远端智能体影响有限这一事实启发，我们引入一种新颖的空间折扣因子以降低远端智能体的影响，从而加速训练过程并提升可扩展性。此外，采用可微分、基于学习的通信协议以促进相邻智能体间的协作。另外，为缓解在线学习过程中系统不确定性与随机噪声的影响，我们利用动作平滑因子以稳定策略执行。为便于训练与评估，我们开发了 PGSim，一个高效、高保真的电网仿真平台。在两个微电网设置中的实验结果表明，所开发的 PowerNet 优于传统的基于模型的控制以及若干最先进的 MARL 算法。其分散式学习方案与高采样效率也使其适用于大规模电网。
引用
@article{arxiv.2011.12354,
title = {PowerNet: Multi-agent Deep Reinforcement Learning for Scalable Powergrid Control},
author = {Dong Chen and Kaian Chen. Zhaojian Li and Tianshu Chu and Rui Yao and Feng Qiu and Kaixiang Lin},
journal= {arXiv preprint arXiv:2011.12354},
year = {2021}
}
备注
11 pages