Characterizing MARL for Energy Control: A Multi-KPI Benchmark on the CityLearn Environment
人工智能
2026-03-10 v2 机器学习
多智能体系统
摘要
城市能源系统的优化对于推动可持续和韧性 smart city 的发展至关重要，而这些城市正变得越来越复杂，涉及多个决策单元。为解决规模和协调 concerns，多智能体强化学习（MARL）是具有前景的解决方案。本文回应了对 MARL 在能源管理任务上进行全面可靠基准测试的必需需求。选取 CityLearn 作为案例研究环境，是因为它真实地模拟了城市能源系统，包含多个储能系统，并利用可再生能源。通过这种方式，我们制定了以 KPI 为导向的新标准进行评估，进行横向比较研究，覆盖多个关键绩效指标（KPI）。这种方法揭示了各种算法的关键优势和不足，超越了传统的 KPI 平均值分析，后者往往掩盖关键见解。我们的实验利用广为接受的基线方法，如近端策略优化（PPO）和软演员-评论家（SAC），并涵盖多种训练方案，包括分散训练与分散执行（DTDE）和集中训练与分散执行（CTDE）以及不同的神经网络架构。我们的 work 还提出了 novel KPI，以解决实际实施中的挑战，如 individual building contribution 和 battery storage lifetime。我们的发现表明，DTDE 在 average 和 worst-case 性能上均一致优于 CTDE。此外，时序依赖学习改进了对 memory dependent KPI（如 ramp-up 和 battery usage）的控制，促进了更可持续的电池运行。结果还揭示了对 agent 或 resource 删除的鲁棒性，凸显了所学策略的韧性和可分散性。
引用
@article{arxiv.2602.19223,
title = {Characterizing MARL for Energy Control: A Multi-KPI Benchmark on the CityLearn Environment},
author = {Aymen Khouja and Imen Jendoubi and Oumayma Mahjoub and Oussama Mahfoudhi and Ruan De Kock and Siddarth Singh and Claude Formanek},
journal= {arXiv preprint arXiv:2602.19223},
year = {2026}
}