面向 KDD Cup 2021 城市大脑挑战赛的 DQN 控制方案
机器学习
2021-08-17 v1
摘要
我们参加了城市大脑挑战赛并获得第 8 名。在该竞赛中，主办方提供真实城市的路网及其基于真实交通数据推导出的交通需求。参赛者需设计智能体来协调交通信号，以在可接受延误的前提下最大化服务车辆数。在本摘要论文中，我们给出整体分析以及针对该竞赛的详细解决方案。我们的方法主要基于将深度 Q 网络（deep Q-network, DQN）适配于实时交通信号控制。我们认为，本竞赛的主要挑战在于如何将经典 DQN 框架扩展至真实复杂路网与交通流环境下的交通信号控制。在尝试并实现若干经典奖励函数后，我们最终选择在新智能体中应用新设计的奖励。通过应用新提出的奖励函数并精细调优控制方案，基于单一 DQN 模型的智能体可跻身前 15 名队伍。我们希望本文能在某种程度上作为真实路网交通信号控制的基线方案，并启发进一步的尝试与研究。
引用
@article{arxiv.2108.06491,
title = {DQN Control Solution for KDD Cup 2021 City Brain Challenge},
author = {Yitian Chen and Kunlong Chen and Kunjin Chen and Lin Wang},
journal= {arXiv preprint arXiv:2108.06491},
year = {2021}
}
备注
5 pages, report for KDD Cup 2021 City Brain Challenge workshop