ST-LINK：用于时空预测的空间感知大语言模型
机器学习
2025-09-18 v1
摘要
交通预测是智能交通系统中的关键问题。近期研究表明，大语言模型 (LLM) 作为一种有前景的方法，但其本构设计主要针对顺序标记处理，在有效捕捉空间依赖性方面存在显著挑战。具体而言，LLM 在建模空间关系方面的固有局限性以及其与图结构空间数据之间的架构不兼容性尚未得到充分解决。为克服这些限制，我们引入 ST-LINK，一个新型框架，增强了大语言模型捕捉时空依赖性的能力。其关键组件包括空间增强注意力 (SE-Attention) 和记忆检索前馈网络 (MRFFN)。SE-Attention 将旋转位置嵌入扩展到整合空间相关性作为直接旋转变换嵌入注意力机制中。该方法在最大化空间学习的同时保留了 LLM 固有的顺序处理结构。而 MRFFN 则动态检索并利用关键历史模式，以捕捉复杂的时序依赖性并提高长期预测的稳定性。广泛的基准数据集上的实验表明，ST-LINK 优于传统深度学习和 LLM 方法，有效捕捉了常规交通模式和突发性变化。
引用
@article{arxiv.2509.13753,
title = {ST-LINK: Spatially-Aware Large Language Models for Spatio-Temporal Forecasting},
author = {Hyotaek Jeon and Hyunwook Lee and Juwon Kim and Sungahn Ko},
journal= {arXiv preprint arXiv:2509.13753},
year = {2025}
}
备注
11 pages, 4 figures, Accepted to CIKM 2025. Code: https://github.com/HyoTaek98/ST_LINK