消解与拯救：残差流超连接的因果分析
机器学习
2026-03-17 v1 人工智能
摘要
多流 Transformer 架构近期被提出作为管理表示坍缩和残差连接消失梯度问题的有前景的方向，但其内部机制仍未得到探索。特别是，最近引入的受约束超连接 (mHC) 架构假设多个残差流之间存在受约束的相互作用，但缺乏深入的机制分析。我们提供首个开源 mHC 语言模型（https://huggingface.co/wgpeng/mhc-780m），并通过一套表示水平的指标和因果干预工具，对多流架构进行分析，以探究平行流如何编码和利用信息。具体而言，我们引入一套系统化的流消解与拯救框架，使在推理期间能够直接对残差流进行因果比较。通过针对性的成对干预和受控恢复实验，我们区分了功能冗余与非对称利用，并揭示了信息在流之间是如何分布的，这超出了仅凭表示相似性所能观察到的内容。
关键词
引用
@article{arxiv.2603.14833,
title = {Ablate and Rescue: A Causal Analysis of Residual Stream Hyper-Connections},
author = {William Peng and Josheev Rai and Kevin Tseng and Siwei Wang and Sean Wu},
journal= {arXiv preprint arXiv:2603.14833},
year = {2026}
}