超位置非必需：Transformer 表示在时间序列预测中的机制解释分析

Transformer 架构已被广泛用于时间序列预测,但它们在 NLP 中发挥力量的表征机制是否在时间序列数据中发挥作用仍未探索。DLinear 等简单线性模型的持久竞争力 fueled ongoing debate,但尚未提供机械解释。我们通过对 PatchTST 的内部表示应用稀疏自编码器 (SAEs),即来自机制可解释性工具的工具来探测。我们首先建立,单层、窄维度的 transformer 在常见基准测试上匹配更深层配置的预测性能。随后我们对 post-GELU 中间 FFN 激活训练 SAEs,字典大小范围从 0.5 倍到 4.0 倍本机维度。扩大字典几乎不产生下游性能变化（平均 0.214%），大量过complete 字典保持非活跃状态。针对主导潜在特征进行的针对性因果干预产生最小的预测扰动。 在所有评估设置下,我们观察到分析的 FFN 表示没有依赖强超位置的经验证据。相反,表示保持稀疏,在激进的字典扩大下保持稳定,且对潜在干预不敏感。这些结果表明,超位置对标准预测基准并非必需,这表明它们可能不要求驱动 transformer 在语言建模中成功所需的丰富组合表示,并帮助解释简单线性模型的持久竞争力。