一种用于含分布式能源的智能微电网能量控制的联邦 DRL 方法
网络与互联网体系结构
2022-11-08 v1
摘要
物联网（IoT）与智能电表设备在智能电网中的普及，正为测量与分析用电模式提供关键支撑。该方法使终端用户能够在市场中扮演产消者角色，并进而有助于减少碳足迹及对公用电网的负担。对由家庭可再生能源（RERs）所产生的能源盈余进行交易协调，以及由外部网络（主电网）供给短缺，是一种必要需求。本文提出一种分层架构，以分布式方式利用具有动态负荷的联邦深度强化学习（FDRL）管理多个智能建筑中的能源。在所开发的基于 FDRL 的框架中，托管于本地建筑能源管理系统（BEMS）的每个智能体训练一个本地深度强化学习（DRL）模型，并以模型超参数的形式将其经验共享至能源管理系统（EMS）的联邦层。仿真研究使用 1 个 EMS 和多达 20 个配备光伏（PV）系统与电池的智能房屋进行。这种迭代训练方法使所提出的离散化软 actor-critic（SAC）智能体能够聚合所收集的知识，从而加快整体学习过程并降低成本与 CO2 排放，同时联邦方法可缓解隐私泄露。数值结果证实了所提框架在不同日间时段、负荷及温度下的性能。
引用
@article{arxiv.2211.03430,
title = {A Federated DRL Approach for Smart Micro-Grid Energy Control with Distributed Energy Resources},
author = {Farhad Rezazadeh and Nikolaos Bartzoudis},
journal= {arXiv preprint arXiv:2211.03430},
year = {2022}
}
备注
7 pages, 6 figures, accepted for publication at IEEE CAMAD 2022