时空感知变换器：将地统计协方差偏置注入自注意力机制用于时空预测
机器学习
2025-12-22 v1 统计方法学
机器学习
摘要
高维时空过程的建模在经典地统计的概率严谨性与深度学习的灵活、高容量表示之间呈现根本性二分。虽然高斯过程提供理论一致性和精确不确定性量化，但其计算规模对大型传感器网络而言不可行。相反，现代变换器架构在序列建模方面卓越，却本质上缺乏几何归因， 将空间传感器视为无序标记而不具备距离的本质理解。本文提出一种时空感知变换器，一种将地统计归因直接注入自注意力机制的混合架构，通过可学习协方差核函数实现。我们通过将注意力结构形式分解为稳态物理先验与非稳态数据驱动残差，施加软拓扑约束以偏好空间相邻的相互作用，同时保留建模复杂动态的能力。我们演示了“Deep Variography”现象，即网络通过反向传播成功恢复 underlying process 的真实空间衰减参数。在合成高斯随机场和真实世界交通基准上的大量实验确认，我们的方法优于最先进的图神经网络。进一步的严格统计验证确认，所提方法不仅在预测精度方面优越，而且提供经过良好校准的概率预测，从而有效地搭建了物理感知建模与数据驱动学习之间的鸿沟。
引用
@article{arxiv.2512.17696,
title = {Spatially-informed transformers: Injecting geostatistical covariance biases into self-attention for spatio-temporal forecasting},
author = {Yuri Calleo},
journal= {arXiv preprint arXiv:2512.17696},
year = {2025}
}