时间序列基础模型中的通用冗余
机器学习
2026-02-03 v1 机器学习
摘要
时间序列基础模型（TSFMs）利用大规模预训练，在推理时准确预测不可见的时间序列，无需任务特定微调。通过对标准基准的大规模评估，我们发现领先的基于变换器的TSFMs在其中间层中表现出冗余组件。我们引入一套针对TSFMs的机制解释工具，包括对特定组件的消除和对残差流的直接逻辑归因。我们的发现跨越多个领先TSFMs（具有多样化架构）和多样化的真实世界和合成时间序列数据集。我们发现本研究中的所有模型对消除整个层都具有鲁棒性。此外，我们发展了将变换器框架为核回归器的理论框架，激发基于每头投影矩阵稳定秩的纯内在策略进行头消除。通过这一方法，我们发现了致responsible for TSFMs中观察到的特定头，这些头导致常见的现象，如动物序列背景中的模仿和季节性偏见。本研究为这一新兴的用于连续时间序列建模的架构类提供了普遍性特征的洞见。
引用
@article{arxiv.2602.01605,
title = {Universal Redundancies in Time Series Foundation Models},
author = {Anthony Bao and Venkata Hasith Vattikuti and Jeffrey Lai and William Gilpin},
journal= {arXiv preprint arXiv:2602.01605},
year = {2026}
}