基于混合Actor-Critic强化学习的自适应频率绿灯最优速度建议
机器学习
2023-06-13 v2 人工智能
摘要
绿灯最优速度建议（GLOSA）系统向车辆建议速度，以辅助其在绿灯时段通过交叉口，从而通过最小化交叉口停车次数与怠速时间来缓解交通拥堵并降低油耗。然而，以往研究聚焦于优化GLOSA算法，忽视了GLOSA系统给出速度建议的频率。具体而言，部分研究在每个决策步均提供速度建议曲线，导致冗余建议，而另一些仅计算一次车辆最优速度，无法适应动态交通。本文提出一种基于混合近端策略优化（H-PPO）方法的自适应频率GLOSA（AF-GLOSA）模型，其采用带混合Actor网络的Actor-Critic架构。混合Actor网络由输出控制间隙的离散Actor与输出加速度曲线的连续Actor组成。此外，我们设计了一种同时考虑通行效率与油耗的新型奖励函数。AF-GLOSA模型在SUMO中带交通信号的三车道交叉口上与传统GLOSA及基于学习的GLOSA方法对比评测。结果表明，AF-GLOSA模型在降低平均停车次数、油耗与CO2排放方面表现最佳。
引用
@article{arxiv.2306.04660,
title = {Adaptive Frequency Green Light Optimal Speed Advisory based on Hybrid Actor-Critic Reinforcement Learning},
author = {Ming Xu and Dongyu Zuo},
journal= {arXiv preprint arXiv:2306.04660},
year = {2023}
}