面向配电网中电动汽车充电控制的联邦强化学习
系统与控制
2023-08-21 v1 机器学习
多智能体系统
系统与控制
摘要
随着电动汽车(EVs)日益普及，维持电网稳定性已成为重大挑战。为此，已开发电动汽车充电控制策略以管理EV在车辆到电网(V2G)与电网到车辆(G2V)模式间的切换。在此背景下，多智能体深度强化学习(MADRL)已在EV充电控制中证明其有效性。然而，现有基于MADRL的方法未考虑配电网中EV充放电的自然功率流，且忽视了驾驶员隐私。为解决这些问题，本文提出一种新方法，将多EV充放电与在最优功率流(OPF)下运行的径向配电网(RDN)相结合，以实时分配功率流。我们建立了描述RDN负荷的数学模型。EV充电控制问题被建模为马尔可夫决策过程(MDP)，以寻找平衡V2G收益、RDN负荷和驾驶员焦虑的最优充电控制策略。为有效学习最优EV充电控制策略，进一步提出了一种名为FedSAC的联邦深度强化学习算法。综合仿真结果证明了我们所提算法在充电控制策略多样性、RDN上的功率波动、收敛效率及泛化能力方面的有效性与优越性。
引用
@article{arxiv.2308.08792,
title = {Federated Reinforcement Learning for Electric Vehicles Charging Control on Distribution Networks},
author = {Junkai Qian and Yuning Jiang and Xin Liu and Qing Wang and Ting Wang and Yuanming Shi and Wei Chen},
journal= {arXiv preprint arXiv:2308.08792},
year = {2023}
}