TrTr：基于Transformer的通用预训练大交通模型，用于捕捉车辆群体中的轨迹多样性
人工智能
2023-12-04 v3 数据分析、统计与概率
摘要
理解轨迹多样性是解决实际交通任务的基本方面。然而，捕捉轨迹多样性存在挑战，尤其对于传统机器学习和循环神经网络，因其需要大规模参数。新兴的Transformer技术以其并行计算能力而闻名，能够利用数亿参数的模型，提供了有前景的解决方案。在本研究中，我们将Transformer架构应用于交通任务，旨在学习车辆群体中轨迹的多样性。我们分析了Transformer的注意力机制及其对交通任务目标的适应性，随后设计了特定的预训练任务。为此，我们创建了契合注意力机制的数据结构，并引入一组对应时空需求的噪声，在预训练过程中将其注入结构化数据。所设计的预训练模型在捕捉车辆群体空间分布方面表现出优异性能，与真值相比无车辆重叠现象且RMSE为0.6059。在时间序列预测中，约95%的预测轨迹速度紧密贴合真实速度，偏差在7.5144m/s以内。此外，在稳定性测试中，该模型通过持续预测比输入序列长十倍的时间序列展现出鲁棒性，输出平滑轨迹并展示多样驾驶行为。该预训练模型也为下游微调任务提供了良好基础。我们的模型参数量超过5000万。
引用
@article{arxiv.2309.12677,
title = {TrTr: A Versatile Pre-Trained Large Traffic Model based on Transformer for Capturing Trajectory Diversity in Vehicle Population},
author = {Ruyi Feng and Zhibin Li and Bowen Liu and Yan Ding},
journal= {arXiv preprint arXiv:2309.12677},
year = {2023}
}
备注
16 pages, 6 figures, work in update