基于物理信息奖励的联邦多智能体深度强化学习多微电网能量管理方法
系统与控制
2024-05-07 v1 机器学习
系统与控制
摘要
大规模分布式可再生能源的利用促进了多微电网（MMG）的发展，这提出了开发有效能量管理方法以最小化经济成本并保持能源自给的需求。多智能体深度强化学习（MADRL）因其实时调度能力已广泛用于能量管理问题。然而，其训练需要微电网（MG）的大量能量运行数据，而从不同微电网收集这些数据会威胁其隐私与数据安全。因此，本文通过提出一种基于物理信息奖励的联邦多智能体深度强化学习（F-MADRL）算法来解决这一实际且具有挑战性的问题。在该算法中，引入联邦学习（FL）机制训练 F-MADRL 算法，从而确保数据的隐私与安全。此外，构建了分散式 MMG 模型，每个参与 MG 的能量由一智能体管理，其目标是基于物理信息奖励最小化经济成本并保持能源自给。首先，各 MG 基于本地能量运行数据独立执行自训练以训练其本地智能体模型。然后，这些本地模型被周期性上传至服务器，其参数被聚合以构建全局智能体，该全局智能体将被广播至各 MG 并替换其本地智能体。以此方式，各 MG 智能体的经验得以共享，且能量运行数据不被显式传输，从而保护隐私并确保数据安全。最后，在橡树岭国家实验室分布式能源控制通信实验室微电网（ORNL-MG）测试系统上开展实验，并进行对比以验证引入 FL 机制的有效性及我们所提 F-MADRL 的优越性。
引用
@article{arxiv.2301.00641,
title = {Federated Multi-Agent Deep Reinforcement Learning Approach via Physics-Informed Reward for Multi-Microgrid Energy Management},
author = {Yuanzheng Li and Shangyang He and Yang Li and Yang Shi and Zhigang Zeng},
journal= {arXiv preprint arXiv:2301.00641},
year = {2024}
}
备注
Accepted by IEEE Transactions on Neural Networks and Learning Systems