中文

潜在相位移回滚:通过残差流监控和 KV 缓存引导实现推理时错误纠正

机器学习 2026-04-21 v1 人工智能 计算与语言

摘要

大语言模型经常在生成过程中提交不可恢复的推理错误:一旦采取错误步骤,后续 token 就会积化为错,而非纠正。我们引入潜在相位移回滚\textbf{潜在相位移回滚}(LPSR):在每个生成步骤中,我们监控关键层 lcritlcrit 处的残差流,通过余弦相似度 + 熵双门检测突然的方向反转(相位移),并据此回滚 KV 缓存并注入预计算的引导向量。无需微调、梯度计算或额外的前向传递。LPSR 在 8B 模型上实现 44.0%\mathbf{44.0\%} 的 MATH-500 分数,相较于标准自回归的 28.8%28.8\% 提升 15.215.2 个百分点(McNemar χ2=66.96\chi^2 = 66.96, p<1015p < 10^{-15})。 critically, 激发自我纠正(most natural inference-time baseline)仅得 19.8%19.8\%,低于标准自回归;LPSR 以 +24.2+24.2 个百分点超过它(χ2=89.4\chi^2 = 89.4, p0p \approx 0)。LPSR 还在 +7.8+7.8 个百分点的性能提升下,以 5.4×5.4\times 更低的 token 成本超越 Best-of-16,并且以 35.2%35.2\% 的分数(相当于 8.75×8.75\times 更少的参数)在约 3×3\times 的 token 预算下超越标准 70B 模型。32 层扫描揭示了一种新的\textbf{检测-纠正解耦现象}:错误检测 AUC 在第 14 层达到峰值(0.7180.718),但任务准确率在第 16 层达到峰值(44.0%44.0\% vs.\ 29.2%29.2\%),表明检测与纠正的最佳监控深度不同。

关键词

引用

@article{arxiv.2604.18567,
  title  = {Latent Phase-Shift Rollback: Inference-Time Error Correction via Residual Stream Monitoring and KV-Cache Steering},
  author = {Manan Gupta and Dhruv Kumar},
  journal= {arXiv preprint arXiv:2604.18567},
  year   = {2026}
}

备注

Under Review