重思考时空 Transformer 用于交通预测：多层次多视角增强学习框架
机器学习
2024-06-19 v1 人工智能
摘要
交通预测是涉及高度复杂时空相关性的时空预测挑战问题。本文提出一种 Multi-level Multi-view Augmented Spatio-temporal Transformer（多层次多视角增强时空 Transformer，LVSTformer）用于交通预测。该模型旨在捕获来自三个不同层次的空间依赖：局部地理、全局语义和关键节点，以及长期和短期时序依赖。具体而言，我们设计了三个空间增强视图，从局部、全局和关键节点的视角深入探索空间信息。通过将三个空间增强视图与三个平行空间自注意力机制结合，模型能够全面捕获不同层次的空间依赖。我们设计了一种门控时序自注意力机制以有效捕获长期和短期时序依赖。此外，引入一种时空上下文广播模块置于两个时空层之间，以确保注意力得分的良好分布，缓解过拟合和信息损失，增强模型的泛化能力和鲁棒性。在六个著名交通基准数据集上进行了全面的实验，实验结果表明，LVSTformer 在与竞争基线方法比较的效果显著，最大提升可达 4.32%。
引用
@article{arxiv.2406.11921,
title = {Rethinking Spatio-Temporal Transformer for Traffic Prediction:Multi-level Multi-view Augmented Learning Framework},
author = {Jiaqi Lin and Qianqian Ren},
journal= {arXiv preprint arXiv:2406.11921},
year = {2024}
}