基于约束分层深度强化学习的电动公交车安全可持续充电调度
机器学习
2025-12-04 v1
摘要
电动公交车（EB）与光伏（PV）面板等可再生能源的集成是促进可持续和低碳公共交通的有前景方法。然而，优化EB充电调度以最小化运营成本同时确保安全运行且不耗尽电池仍然具有挑战性——尤其在现实条件下，需考虑PV发电的不确定性、动态电价、可变行驶时间和有限的充电基础设施。在本文中，我们提出了一种安全的约束分层深度强化学习（HDRL）框架，用于在多源不确定性下求解电动公交车充电调度问题（EBCSP）。我们将问题建模为带选项的约束马尔可夫决策过程（CMDP），以实现时间抽象决策。我们开发了一种新型HDRL算法，即双Actor-Critic多智能体近端策略优化拉格朗日（DAC-MAPPO-Lagrangian），将拉格朗日松弛集成到双Actor-Critic框架中。在高层，我们采用集中式PPO-Lagrangian算法学习安全充电器分配策略。在低层，我们在集中训练分散执行（CTDE）范式下采用MAPPO-Lagrangian学习分散充电功率决策。利用真实数据的广泛实验表明，所提方法在成本最小化和安全合规方面均优于现有基线，同时保持快速收敛速度。
引用
@article{arxiv.2512.03059,
title = {Safe and Sustainable Electric Bus Charging Scheduling with Constrained Hierarchical DRL},
author = {Jiaju Qi and Lei Lei and Thorsteinn Jonsson and Dusit Niyato},
journal= {arXiv preprint arXiv:2512.03059},
year = {2025}
}