时间序列基础模型的内部语义
机器学习
2025-11-20 v1
摘要
时间序列基础模型（TSFMs）最近作为一种跨 diverse 时间域学习的通用范式涌现。然而，尽管它们在经验上取得了成功，但这些模型如何表示基本时间序列概念的内部机制仍不为人所知。在本工作中，我们对 TSFMs 的概念可解释性进行系统性调查。具体我们检验：（i）哪些层编码哪些概念，（ii）概念参数是否可线性恢复，（iii）在模型深度中表示如何演化以体现概念 disentanglement 和 abstraction，以及（iv）模型如何处理概念的组合。我们使用层级分析、线性可恢复性测试和表示相似性度量，对这些问题进行系统性探测，提供 TSFMs 语义的结构化概述。结果表明，早期层主要捕获 local、时域模式（如 AR(1)、水平位移、趋势），而更深层编码离散和 change-time 信号，spectral 和 warping 因素 remain 最难线性恢复。在组合设置中，探针性能下降，揭示概念之间存在干扰。这突显了尽管原子概念可靠局部化，组合仍是一个挑战，凸显了当前 TSFMs 在表示相互作用时序现象的关键局限性。
引用
@article{arxiv.2511.15324,
title = {On the Internal Semantics of Time-Series Foundation Models},
author = {Atharva Pandey and Abhilash Neog and Gautam Jajoo},
journal= {arXiv preprint arXiv:2511.15324},
year = {2025}
}