解剖 Chronos：稀疏自编码器揭示时间序列基础模型中的因果特征层次
机器学习
2026-03-12 v1 人工智能
计算与语言
摘要
时间序列基础模型 (TSFMs) 正在被部署到高风险领域，但其内部表示仍不透明。我们首次将稀疏自编码器 (SAE) 应用于 TSFM，在 Chronos-T5-Large (7100 万参数) 的六个层上训练 TopK SAE。通过 392 项单特征消融实验，我们确立了每一次消融特征都会导致正的 CRPS 退化，从而确认其因果相关性。我们的分析揭示了一种随深度而变的层次结构：编码器的早期层编码低级频率特征，中耦合层集中注意力于因果关键性变更检测特征，最终编码器压缩了丰富但因果上不那么重要的时序概念分类。最关键的特征位于中耦合层（最大单特征 Delta CRPS = 38.61），而非在语义最丰富的最终编码器层，在该层上进行逐渐消融反而会改善预测质量。这些发现表明，机制可解释性能够有效地转移到 TSFMs 上，Chronos-T5 依赖于突变动力学检测而非周期模式识别。
引用
@article{arxiv.2603.10071,
title = {Dissecting Chronos: Sparse Autoencoders Reveal Causal Feature Hierarchies in Time Series Foundation Models},
author = {Anurag Mishra},
journal= {arXiv preprint arXiv:2603.10071},
year = {2026}
}
备注
Accepted as a poster in ICLR 2026 Workshop on Time Series in the Age of Large Models (TSALM)