MARLens：用于交通信号控制的多智能体强化学习可视化分析
人机交互
2024-10-03 v1
摘要
交通拥堵是一个全球城市发展的重大障碍, 智能交通信号控制（TSC）是解决此问题的有前景的方案。最近, 利用强化学习（RL）开发的TSC策略受到研究者的关注。然而, 这些模型的评估主要依赖奖励和排队长度等固定指标, 这种有限的评估方法仅提供模型决策过程的狭窄视图, 阻碍了其实际应用。此外, 有效的TSC需要跨多个路口的协调行动。现有可视化分析解决方案在多智能体环境中应用时不足。本研究聚焦于多智能体强化学习（MARL）在TSC语境下的可解释性挑战。我们提出MARLens，为MARL基于TSC的可视化分析系统。该系统为RL与TSC研究者提供 versatile平台, 使其能够从多个角度探索模型特征, 揭示其决策过程并阐明不同智能体之间的相互作用。为便于快速识别关键状态, 我们设计了多个可视化视图, 并配备交通仿真模块以回放特定训练情景。为验证所提系统的实用性, 我们呈现三个全面案例研究, 通过访谈整合领域专家见解, 并进行用户研究。这些综合性努力凸显了MARLens在增强对MARL基于TSC系统理解方面的可行性和有效性, 为更加明智和高效的交通管理策略铺平了道路。
引用
@article{arxiv.2410.01364,
title = {MARLens: Understanding Multi-agent Reinforcement Learning for Traffic Signal Control via Visual Analytics},
author = {Yutian Zhang and Guohong Zheng and Zhiyuan Liu and Quan Li and Haipeng Zeng},
journal= {arXiv preprint arXiv:2410.01364},
year = {2024}
}
备注
16 pages, 8 figures; Accepted by IEEE Transactions on Visualization and Computer Graphics, 2024