中文

Weaver:基于 Kronecker 积近似的时空注意力交通网络预测

机器学习 2025-12-01 v2

摘要

交通网络上的时空预测是一项复杂任务,需要理解流量动力学和社交行为模式支配下的交通节点如何在动态演化系统中相互作用。交通网络及 ITS 对现代交通和商业的重要性 necessitates 开发既准确又可解释、在结构或时间扰动下稳健的预测模型。最近的方法,特别是基于 Transformer 的架构,虽提升了预测性能,但往往以高计算开销和降低架构可解释性为代价。本工作引入 Weaver,一种新型注意力模型,应用 Kronecker 积近似 (KPA) 将 PN X PN 时空注意力的 O(P^2N^2) 复杂度分解为局部 P X P 时间和 N X N 空间注意力图。这种 Kronecker 注意力图使我们的平行-Kronecker 矩阵-向量积 (P2-KMV) 能够以 O(P^2N + N^2P) 复杂度实现高效时空消息传递。为捕捉真实交通动力学,我们通过引入基于连续 Tanimoto 系数 (CTC) 的价值注意力 (Valence Attention),在建模交通行为中考虑负边的重要性,提供精确潜在图生成和训练稳定性所需的特性。为充分利用模型的学习容量,我们引入 Traffic Phase Dictionary 实现自条件化。在 PEMS-BAY 和 METR-LA 上的评估表明,Weaver 在各模型类别中实现了具竞争力的性能,同时训练更高效。

关键词

引用

@article{arxiv.2511.08888,
  title  = {Weaver: Kronecker Product Approximations of Spatiotemporal Attention for Traffic Network Forecasting},
  author = {Christopher Cheong and Gary Davis and Seongjin Choi},
  journal= {arXiv preprint arXiv:2511.08888},
  year   = {2025}
}