集中式与去中心式多智能体强化学习在增强电动汽车充电网络控制中的比较
人工智能
2024-04-22 v1
摘要
电动汽车 (EVs) 的大规模普及给配电网和智能电网基础设施带来了若干挑战，因为其可能显著增加电力需求，尤其是在高峰时段。此外，当 EVs 参与需求侧管理项目时，可以通过利用最优充电控制策略充分利用实时定价方案来降低充电费用。然而，由于各种随机和不确定的环境因素，设计 EVs 的最优充电方法和控制策略具有挑战性。目前，大多数 EV 充电控制器基于集中式模型运行。在本文中，我们引入了一种使用多智能体强化学习 (MARL) 框架的分布式协作充电策略的新方法。我们的方法基于住宅社区中一组 EVs 的 Deep Deterministic Policy Gradient (DDPG) 算法，其中所有 EVs 连接到共享变压器。该方法被称为 CTDE-DDPG，采用集中式训练去中心式执行 (CTDE) 方法，在训练阶段建立智能体之间的协作，同时在执行期间确保分布式和隐私保护的操作。我们从理论上检验了基于 DDPG 的 MARL 实现中集中式和去中心式 critic 的性能，并展示了它们的权衡。此外，我们在数值上探索了集中式和去中心式 critic 的效率、可扩展性和性能。我们的理论和数值结果表明，尽管具有更高的策略梯度方差和训练复杂度，CTDE-DDPG 框架通过将总变异降低约 36% 并将平均充电成本降低约 9.1%，显著提高了充电效率……
引用
@article{arxiv.2404.12520,
title = {Centralized vs. Decentralized Multi-Agent Reinforcement Learning for Enhanced Control of Electric Vehicle Charging Networks},
author = {Amin Shojaeighadikolaei and Zsolt Talata and Morteza Hashemi},
journal= {arXiv preprint arXiv:2404.12520},
year = {2024}
}
备注
12 pages, 9 figures