基于垂直联邦强化学习的联网微电网弹性控制：设计与实时测试床验证
系统与控制
2025-11-11 v1 人工智能
机器学习
系统与控制
摘要
随着基于逆变器的资源（IBRs）占比增加，提升联网微电网的系统级弹性十分重要。本文（1）提出了存在对抗性网络事件下的弹性控制设计，并提出了一种新颖的联邦强化学习（Fed-RL）方法以应对（a）模型复杂性、IBR设备的未知动态行为，（b）多主体拥有的联网电网中数据共享的隐私问题；（2）将学到的控制从仿真迁移至硬件在环测试床，从而弥合仿真与真实世界间的鸿沟。基于这些多维度目标，首先，我们构建了一个强化学习（RL）训练设置，在电网成形（GFM）逆变器的初级控制器处注入对抗者（攻击信号）生成片段轨迹，其中RL智能体（或控制器）被训练以缓解注入的攻击。对于联网微电网，涉及不同独立环境的水平Fed-RL方法并不适用，这促使我们开发垂直变体联邦软 actor-critic（FedSAC）算法以掌握联网微电网的互联动态。接下来，利用OpenAI Gym接口，我们在GridLAB-D/HELICS联合仿真平台构建了自定义仿真设置，名为弹性RL联合仿真（ResRLCoSIM），使用包含3个互联微电网的IEEE 123总线基准测试系统训练RL智能体。最后，将仿真世界中学习到的策略迁移至使用高保真Hypersim平台开发的实时硬件在环测试床设置。实验表明，仿真训练的RL控制器在实时测试床设置中产生了令人信服的结果，验证了仿真到现实鸿沟的最小化。
引用
@article{arxiv.2311.12264,
title = {Resilient Control of Networked Microgrids using Vertical Federated Reinforcement Learning: Designs and Real-Time Test-Bed Validations},
author = {Sayak Mukherjee and Ramij R. Hossain and Sheik M. Mohiuddin and Yuan Liu and Wei Du and Veronica Adetola and Rohit A. Jinsiwale and Qiuhua Huang and Tianzhixi Yin and Ankit Singhal},
journal= {arXiv preprint arXiv:2311.12264},
year = {2025}
}
备注
10 pages, 7 figures