OrthoFormer：基于神经控制函数的 Transformer 隐藏状态工具变量估计

Transformer架构在序列建模方面表现出色，但仍受限于相关性学习——它们捕获由潜在混杂因素引发的伪关联，而非不变的因果机制。我们识别这是一种认识论挑战：标准Transformer将静态背景因素（如内在身份、风格、上下文）与动态因果流（如状态演化、机制）混合，导致在分布迁移情况下的灾难性失效。我们提出OrthoFormer（OrthoFormer: Instrumental Variable Estimation in Transformer Hidden States via Neural Control Functions），一种嵌入工具变量估计的因果导向架构，通过神经控制函数实现。我们的框架建立在四个理论支柱之上：结构方向性（时间箭约束）、表示正交性（潜在噪声分离）、因果稀疏性（马尔可夫带近似）以及端到端一致性（梯度分离阶段分离）。我们证明，OrthoFormer对于任意有效工具变量滞后，均可实现严格小于OLS的偏差，其残差偏差随着O(ρ^k)形式几何衰减。我们阐述了自工具变量化过程中固有的偏差-方差-严格性三角谜，并识别出神经禁忌回归——即去除梯度分离虽可降低预测损失，却破坏因果有效性。实验结果确认了所有理论预测。OrthoFormer标志着从相关性到因果序列建模的范式转变，对鲁棒性、可解释性以及在分布迁移情况下的可靠决策具有深远意义。