自注意力即传输:对称谱诊断的局限性
机器学习
2026-05-07 v1 计算与语言
机器学习
摘要
大型语言模型以可预测的方式产生幻觉:注意力路由因过度集中于少数位置而失败,或因过度分散导致相关性被稀释,且失败的形态带有诊断信号。一类广泛使用的谱方法分析了度归一化注意力算子的对称分量,该分量控制传输容量;我们证明,该算子的每一个转置不变谱诊断在结构上都是方向盲的(它无法区分算子及其转置,因此无法检测信息流方向),并通过定量反例确立了不对称系数 作为方向的唯一控制参数。将其与规范因果架构的闭式二部 Cheeger 景观相结合,我们证明均匀因果注意力满足与 无关的下限 ,且最差切割位于 ,而窗口注意力以 穿透该下限;失败模式在形态上是不同的,而不仅仅在数值上不同。由此产生的双轴诊断( 表示容量, 表示方向)产生了一个可证伪的极性预测:瓶颈主导型和扩散主导型基准测试应表现出相反的极性。在长度控制的评估下,传输特征在高达 8B 参数的受测模型上保留了可解释的信号(LC-AUROC 从 0.62 到 0.84),且极性在 HaluEval 和 MedHallu 之间如预测般发生反转。
引用
@article{arxiv.2605.04893,
title = {Self-Attention as Transport: Limits of Symmetric Spectral Diagnostics},
author = {Dominik Dahlem and Diego Maniloff and Mac Misiura},
journal= {arXiv preprint arXiv:2605.04893},
year = {2026}
}
备注
42 pages, 6 figures, 3 tables; 82-page online supplement (proofs, additional experiments, dataset statistics) as an ancillary file