低信噪比时间序列预测中Transformer模型的统计基准测试
机器学习
2026-02-11 v1
摘要
我们研究了Transformer架构在仅有几年每日观测数据的低数据 regime下的多变量时间序列预测性能。使用具有已知时序和横截面依赖结构且可变信噪比的合成过程，进行引导实验，使其能够通过与最优ground-truth预测器的样外相关性进行直接评估。我们证明，在包括低信噪比情景的广泛设置下，双向注意力Transformer——交替进行时序和横截面自注意力——可超过标准基线-Lasso、提升方法和全连接多层感知器。在训练期间，我们进一步引入一种用于注意力矩阵的动态稀疏化程序，并表明在噪声环境中尤为有效，即目标变量与最优预测器之间的相关性仅为几个百分点。对所学注意力模式的分析揭示了可解释结构，并提示与经典回归中的稀疏诱导正则化存在联系，为这些模型在噪声下有效泛化提供了洞见。
关键词
引用
@article{arxiv.2602.09869,
title = {Statistical benchmarking of transformer models in low signal-to-noise time-series forecasting},
author = {Cyril Garcia and Guillaume Remy},
journal= {arXiv preprint arXiv:2602.09869},
year = {2026}
}
备注
Submitted to ICML