利用纵向联邦强化学习增强网络化微电网的网络韧性
机器学习
2025-11-11 v1 系统与控制
系统与控制
摘要
本文提出一种新颖的联邦强化学习（Fed-RL）方法，以增强网络化微电网的网络韧性。我们构建了一个具有韧性的强化学习（RL）训练设置，该设置（a）在构网型（GFM）逆变器的一次控制参考信号处注入对抗性动作，生成情景化轨迹，并（b）训练RL智能体（或控制器）以减轻注入的对抗性影响。为规避多方拥有的网络化电网中的数据共享问题及专有隐私顾虑，我们引入联邦机器学习的思想，并提出一种新颖的Fed-RL算法来训练RL智能体。为此，使用解耦独立环境的传统水平联邦强化学习方法无法捕捉网络化微电网中的耦合动态，这促使我们提出一种多智能体垂直联邦的演员-评论家算法变体，即联邦软演员-评论家（FedSAC）算法。我们创建了一个定制的仿真设置，在兼容OpenAI Gym接口的GridLAB-D/HELICS联合仿真平台中封装微电网动态，用于训练RL智能体。最后，通过包含三个耦合微电网的改进IEEE 123节点基准测试系统的数值算例，验证了所提方法的有效性。
引用
@article{arxiv.2212.08973,
title = {Enhancing Cyber Resilience of Networked Microgrids using Vertical Federated Reinforcement Learning},
author = {Sayak Mukherjee and Ramij R. Hossain and Yuan Liu and Wei Du and Veronica Adetola and Sheik M. Mohiuddin and Qiuhua Huang and Tianzhixi Yin and Ankit Singhal},
journal= {arXiv preprint arXiv:2212.08973},
year = {2025}
}
备注
13 pages, 5 figures