iLLM-TSC: 集成强化学习与大语言模型的交通信号控制策略改进
人工智能
2024-07-09 v1
摘要
城市拥堵仍然是一个严峻挑战,交通信号控制(TSC)成为一种有效的解决方案。TSC通常被建模为马尔可夫决策过程问题,然后使用强化学习(RL)求解,这已被证明是有效的。然而,现有的基于RL的TSC系统常常忽略由通信降级(如丢包、延迟和噪声)导致的不完美观测,以及未包含在奖励函数中的罕见真实事件(如未考虑的应急车辆)。为了解决这些局限性,我们引入了一种新颖的集成框架,将大语言模型(LLM)与RL相结合。该框架旨在管理奖励函数中被忽略的元素和状态信息中的空白,从而增强RL智能体的策略。在我们的方法中,RL首先基于观测数据做出决策。随后,LLM评估这些决策以验证其合理性。如果发现决策不合理,则进行相应调整。此外,这种集成方法可以无缝集成到现有的基于RL的TSC系统中,无需进行修改。大量测试证实,与传统的RL方法相比,我们的方法在降级通信条件下将平均等待时间减少了,突显了其在智能交通系统中推进实际RL应用的潜力。相关代码可在\url{https://github.com/Traffic-Alpha/iLLM-TSC}找到。
引用
@article{arxiv.2407.06025,
title = {iLLM-TSC: Integration reinforcement learning and large language model for traffic signal control policy improvement},
author = {Aoyu Pang and Maonan Wang and Man-On Pun and Chung Shue Chen and Xi Xiong},
journal= {arXiv preprint arXiv:2407.06025},
year = {2024}
}