PRISM：通过最大编码率减少推导作为信号-噪声分解算子的白盒 Transformer

Dongchen Huang

PRISM：通过最大编码率减少推导作为信号-噪声分解算子的白盒 Transformer

机器学习 2026-02-04 v2 人工智能计算与语言数据分析、统计与概率

作者: Dongchen Huang

摘要

深度学习模型，尤其是 Transformer，常被批评为“黑盒”且缺乏可解释性。我们提出了 Prism，一种基于最大化编码率减少（ $\text{MCR}^2$ ）原则推导出的白盒注意力架构。通过将注意力机制建模为在独立信号-噪声流形上的梯度上升过程，我们引入了一种特定的非理性频率分离（ $\pi$ -RoPE），以强制信号（语义）和噪声（句法）子空间之间的不相干性。我们展示了经验证据，证明这些几何归纳偏置可以单独引发无监督的功能解耦。Prism 自发地将其注意力头专门化为频谱上不同的机制：低频头捕获长程因果依赖（信号），高频头处理局部句法约束和结构伪影。为了给这些频谱现象提供理论基础，我们在注意力机制与哈密顿动力系统之间进行了类比，并发现旋转位置嵌入的标准几何级数会诱发密集的共振网络（Arnold 舌），导致特征秩坍缩。在基于 OpenWebText 训练的 124M 参数模型上的经验验证表明，Prism 自发地隔离了注意力汇病态，并在各层之间保持等熵信息流。此外，我们为大型语言模型提出了一种基于物理的即插即用干预 KAM-RoPE。我们的结果表明，可解释性和性能可以通过有原则的几何构造统一起来，为启发式架构修改提供了一种有理论基础的替代方案。

关键词

白盒 Transformer 最大编码率减少信号-噪声分解旋转位置嵌入注意力机制大型语言模型

引用

@article{arxiv.2601.15540,
  title  = {PRISM: Deriving a White-Box Transformer as a Signal-Noise Decomposition Operator via Maximum Coding Rate Reduction},
  author = {Dongchen Huang},
  journal= {arXiv preprint arXiv:2601.15540},
  year   = {2026}
}

备注

12 pages, 6 figures. Derives Transformer as a signal-noise decomposition operator via Maximizing Coding Rate Reduction. Identifies 'Attention Sink' as spectral resonance (Arnold Tongues) and proposes $\pi$-RoPE for dynamical stability

PRISM：通过最大编码率减少推导作为信号-噪声分解算子的白盒 Transformer

摘要

关键词

引用

备注

相关论文