面向动力系统的 Transformer 机理分析

Transformer 越来越多地被用于时间序列的建模和预测，然而从动力系统的角度来看，其内部机制仍然知之甚少。与受益于完善理论基础的经典自回归和状态空间模型相比，Transformer 架构通常被视为黑箱。当基于注意力的模型被考虑用于跨多种动态体制的通用或零样本预测时，这一差距变得尤为相关。在这项工作中，我们不提出新的预测模型，而是研究单层 Transformer 应用于动力学数据时的表示能力和局限性。基于动力系统的视角，我们将因果自注意力解释为一种线性的、依赖于历史的递归，并分析其如何处理时间信息。通过一系列线性和非线性案例研究，我们识别出不同的操作模式。对于线性系统，我们表明 softmax 注意力施加的凸性约束从根本上限制了可表示的动力学类别，导致在振荡环境中出现过平滑现象。对于部分可观测条件下的非线性系统，注意力则充当了一种自适应延迟嵌入机制，当有足够的时间上下文和潜在维度时，能够实现有效的状态重构。这些结果有助于将经验观察与经典动力系统理论联系起来，为理解 Transformer 何时以及为何能成功或失败地作为动力系统模型提供了见解。