通信故障下微电网能源管理的多智能体贝叶斯深度强化学习
系统与控制
2021-11-24 v1 机器学习
系统与控制
摘要
微电网（MG）是未来交易能源系统的重要参与者，其中大量智能物联网（IoT）设备为智能电网中的能源管理进行交互。尽管已有许多关于微电网能源管理的研究，多数工作假设完美通信环境，未考虑通信故障。本文将微电网视为含IoT设备的多智能体环境，其中AI智能体与同伴交换信息以协作。然而，协作信息可能因通信故障或丢包而丢失。此类事件可能影响整个微电网的运行。为此，我们提出一种用于通信故障下微电网能源管理的多智能体贝叶斯深度强化学习（BA-DRL）方法。我们首先定义多智能体部分可观测马尔可夫决策过程（MA-POMDP）来描述通信故障下的智能体，其中每个智能体可更新其对同伴动作的信念。随后，我们在BA-DRL中应用双重深度Q学习（DDQN）架构进行Q值估计，并提出一种基于信念的相关均衡用于多智能体BA-DRL的联合动作选择。最后，仿真结果表明BA-DRL对电力供应不确定性与通信故障不确定性均具鲁棒性。在1%通信故障概率下，BA-DRL比纳什深度Q学习（Nash-DQN）和交替方向乘子法（ADMM）分别高出4.1%和10.3%的奖励。
引用
@article{arxiv.2111.11868,
title = {Multi-agent Bayesian Deep Reinforcement Learning for Microgrid Energy Management under Communication Failures},
author = {Hao Zhou and Atakan Aral and Ivona Brandic and Melike Erol-Kantarci},
journal= {arXiv preprint arXiv:2111.11868},
year = {2021}
}