基于分散式多智能体强化学习的分布式储能系统荷电状态均衡策略
人工智能
2023-08-30 v1 机器学习
系统与控制
系统与控制
摘要
本文提出一种分散式多智能体强化学习（Dec-MARL）方法以解决分布式储能系统（DESS）中的 SoC 均衡问题。首先，将 SoC 均衡问题建模为具有由需求平衡导出的动作约束的有限马尔可夫决策过程，其可由 Dec-MARL 求解。具体而言，利用一阶平均一致性算法以完全分散方式扩展 DESS 状态的观测，智能体（即储能单元）依据这些观测决定初始动作（即输出功率）。为获得允许范围内的最终动作，提出反事实需求平衡算法以平衡总需求与初始动作。接着，智能体执行最终动作并从环境获得局部奖励，DESS 进入下一状态。最后，通过一阶平均一致性算法，智能体获得平均奖励与下一状态的扩展观测用于后续训练。通过上述过程，Dec-MARL 在完全分散系统中无需任何专家经验或构建任何复杂模型即展现出优异性能。此外，其具有灵活性并可直截了当地扩展至其他分散式多智能体系统。大量仿真验证了 Dec-MARL 的有效性与高效性。
引用
@article{arxiv.2308.15394,
title = {Decentralized Multi-agent Reinforcement Learning based State-of-Charge Balancing Strategy for Distributed Energy Storage System},
author = {Zheng Xiong and Biao Luo and Bing-Chuan Wang and Xiaodong Xu and Xiaodong Liu and Tingwen Huang},
journal= {arXiv preprint arXiv:2308.15394},
year = {2023}
}