time2time: 对隐藏状态进行因果干预以模拟时间序列基础模型中的稀有事件
机器学习
2025-10-07 v2 人工智能
摘要
虽然基于 Transformer 的基础模型在预测常规模式方面表现出色，但仍有两个问题值得关注：它们是否内化了诸如市场情境等的语义概念，或仅仅拟合曲线？它们的内部表示能否用于模拟如市场崩溃等稀有且高风险的事件？为此，我们引入激活移植，这是一种干预机制，通过在前向传播过程中将一种事件（如历史性市场崩溃）的统计矩强加于另一事件（如平稳期）以操控隐藏状态。该程序可确定性地引导预测：注入崩溃语义可诱导下跌预测，而注入平稳语义则抑制崩溃并恢复稳定。除了二元控制之外，我们发现模型对事件严重程度存在梯度概念，潜在向量范数直接与系统性冲击的规模相关。经过两个在结构上不同的 TSFMs 验证，Toto（仅解码器）和 Chronos（编码器-解码器），我们的结果表明，可操控且语义上有依托的表示是大型时间序列 Transformer 的稳健属性。我们的发现为主导模型预测的潜在概念空间提供了证据，将可解释性从事后归因转向直接因果干预，并为战略压力测试启用语义“情景法”分析。
引用
@article{arxiv.2509.05801,
title = {time2time: Causal Intervention in Hidden States to Simulate Rare Events in Time Series Foundation Models},
author = {Debdeep Sanyal and Aaryan Nagpal and Dhruv Kumar and Murari Mandal and Saurabh Deshpande},
journal= {arXiv preprint arXiv:2509.05801},
year = {2025}
}