面向分层协同多车追击的带信息增强状态编码器的分级Q强化学习
机器学习
2022-10-26 v1 人工智能
摘要
多车追击（MVP）作为从多种真实场景抽象出的问题，正成为智能交通系统（ITS）中的研究热点。人工智能（AI）与网联车的结合极大促进了MVP的研究发展。然而，现有MVP工作很少关注复杂城市交通环境下追击车辆间信息交换与合作的重要性。本文提出一种带信息增强状态编码器的分级Q强化学习（GQRL-IESE）框架以解决该分层协同多车追击（HCMVP）问题。在GQRL-IESE中，提出一种协同分级Q方案以促进追击车辆决策从而提高追击效率。每辆追击车辆进一步使用深度Q网络（DQN）基于其编码状态进行决策。一个协同Q优化网络根据当前环境交通信息调整个体决策以获得全局最优动作集。此外，设计了一种信息增强状态编码器从多视角提取关键信息，并利用注意力机制辅助每辆追击车辆有效确定目标。基于SUMO的大量实验结果表明，所提GQRL-IESE的总时间步平均少于其他方法47.64%，证明了GQRL-IESE优异的追击效率。代码已开源至https://github.com/ANT-ITS/GQRL-IESE。
引用
@article{arxiv.2210.13470,
title = {Graded-Q Reinforcement Learning with Information-Enhanced State Encoder for Hierarchical Collaborative Multi-Vehicle Pursuit},
author = {Yiying Yang and Xinhang Li and Zheng Yuan and Qinwen Wang and Chen Xu and Lin Zhang},
journal= {arXiv preprint arXiv:2210.13470},
year = {2022}
}
备注
8 pages with 6 figures