中文

预测瓶颈并不发现因果结构(但这里它们实际上做了什么)

机器学习 2026-05-12 v1 人工智能

摘要

仅用于下一步预测的 Mamba 状态空间模型看起来能够通过简单的读出 S=WoutWinS = |W_{out} W_{in}| 恢复格兰杰因果结构,早期实验表明该现象在不同架构之间具有普适性,并且在 p<105p < 10^{-5} 时受干预数据的帮助。我们将用于测试该论断的协议——标准化的合成生成器(VAR/Lorenz/CauseMe 风格)、三种干预语义(do(X=c)do(X=c)、软噪声、随机强制)、三个真实数据集上的边源头卡以及规模匹配的对照组——打包为可重复使用的否定基准,并依次让该论断通过五个阶段的检验。该方法层面的论断未能通过:(i) 简单的线性瓶颈效果不亚于后者;(ii) 调整后的 Lasso 在合成 CauseMe 风格基准和 Lorenz-96(唯一一个拥有明确真实因果结构的真实基准)上战胜瓶颈,而在后者上经典的 PCMCI 和格兰杰方法紧密聚集,其中瓶颈略逊;(iii) headline 中的干预优势约有 60% 来自样本量混淆,剩余部分在标准 do(X=c)do(X=c) 干预下消失,仅在非标准随机强制方案中存续;(iv) 即便如此,该剩余效应在经典的双变量格兰杰中也能复现,且效果更大——该效应是方法无关的。最终存活下来的只有一个狭窄的特征描述;该基准才是持久的遗产,而上述每个阶段都是其中的一个对照臂。

关键词

引用

@article{arxiv.2605.09169,
  title  = {Prediction Bottlenecks Don't Discover Causal Structure (But Here's What They Actually Do)},
  author = {Ankit Hemant Lade and Sai Krishna Jasti and Indar Kumar and Aman Chadha},
  journal= {arXiv preprint arXiv:2605.09169},
  year   = {2026}
}

备注

6 pages, 3 tables. Code: https://github.com/ankitlade12/ssm-causal