中文

U-STS-LLM:一种用于流量预测与插补的统一时空引导大语言模型

机器学习 2026-05-13 v1 信号处理

摘要

现代蜂窝网络的高效运行依赖于对时空流量数据的精确分析。掌握这些模式对于核心网络功能至关重要,主要是预测未来负载以预防拥塞,以及插补因传感器故障或传输错误导致的缺失值以确保数据连续性。尽管预测和插补深度关联,但它们历史上是作为独立的子领域发展的。主流范式——时空图神经网络(STGNN)虽然有效,但通常是专用的、计算密集型的,且泛化能力有限。与此同时,适配大型预训练语言模型(LLM)为序列建模提供了一种强大的替代方案,然而现有方法提供的结构引导较弱,导致收敛不稳定,并且仅专注于预测。为了弥合这些差距,我们提出了U-STS-LLM,一个基于时空引导LLM的统一框架。我们的核心创新是一个动态时空注意力偏置生成器,它合成一个持久的函数图与瞬态节点状态,以显式地引导LLM的注意力。结合通过低秩适应(LoRA)调优的部分冻结骨干网络和门控自适应融合机制,该模型实现了稳定、参数高效的适配。在统一的多任务目标下训练,U-STS-LLM学习到一种整体的数据表示。在真实蜂窝数据集上的大量实验表明,U-STS-LLM在长期预测和高缺失率插补方面均建立了新的最先进性能,同时保持了显著的训练效率和稳定性,为在结构化、非语言领域利用基础模型提供了新的蓝图。

关键词

引用

@article{arxiv.2605.11735,
  title  = {U-STS-LLM A Unified Spatio-Temporal Steered Large Language Model for Traffic Prediction and Imputation},
  author = {Yichen Zhang and Jun Li},
  journal= {arXiv preprint arXiv:2605.11735},
  year   = {2026}
}

备注

14 pages, 6 figures