通过缓解过挤压改进时空残差误差传播
机器学习
2026-05-19 v1 人工智能
摘要
残差误差传播仍是循环模型中的一个基本问题，微小的预测误差会随时间累积并降低长时程性能。准确建模此类残差的相关结构对于概率多变量时间序列预测中可靠的不确定性量化至关重要。尽管近期的时序深度模型能高效参数化时变的同期相关性，但它们通常假设误差具有时间独立性，并忽略了观测网络中的空间相关性。本文引入了 Teger，这是一种结构化的不确定性模块，克服了误差相关自回归预测在空间和时间上的局限性。Teger 提出了一种空间曲率感知的图重连机制，显式地增强了由离散 Forman 曲率识别的信息瓶颈边。该组件被集成到低秩加对角协方差头中，通过 Woodbury 恒等式保持了易处理的推断。Teger 与主干网络无关，仅需任何自回归编码器产生的潜在状态。我们提供了 Teger 的理论证明，并在四个真实世界时空数据集上基于 LSTM、Transformer 和 xLSTM 主干网络进行了实验评估，展示了连续概率排位分数（CRPS）的持续改进。我们进一步提供了形式化理论分析，将曲率感知重连与以下方面联系起来：过挤压缓解、改进的谱连通性、降低的有效电阻以及改进的协方差校准界限。
引用
@article{arxiv.2605.18068,
title = {Improving Spatio-Temporal Residual Error Propagation by Mitigating Over-Squashing},
author = {Seyed Mohamad Moghadas and Esther Rodrigo Bonet and Bruno Cornelis and Adrian Munteanu},
journal= {arXiv preprint arXiv:2605.18068},
year = {2026}
}