潜在相位移回滚:通过残差流监控和 KV 缓存引导实现推理时错误纠正
机器学习
2026-04-21 v1 人工智能
计算与语言
摘要
大语言模型经常在生成过程中提交不可恢复的推理错误:一旦采取错误步骤,后续 token 就会积化为错,而非纠正。我们引入(LPSR):在每个生成步骤中,我们监控关键层 处的残差流,通过余弦相似度 + 熵双门检测突然的方向反转(相位移),并据此回滚 KV 缓存并注入预计算的引导向量。无需微调、梯度计算或额外的前向传递。LPSR 在 8B 模型上实现 的 MATH-500 分数,相较于标准自回归的 提升 个百分点(McNemar , )。 critically, 激发自我纠正(most natural inference-time baseline)仅得 ,低于标准自回归;LPSR 以 个百分点超过它(, )。LPSR 还在 个百分点的性能提升下,以 更低的 token 成本超越 Best-of-16,并且以 的分数(相当于 更少的参数)在约 的 token 预算下超越标准 70B 模型。32 层扫描揭示了一种新的\textbf{检测-纠正解耦现象}:错误检测 AUC 在第 14 层达到峰值(),但任务准确率在第 16 层达到峰值( vs.\ ),表明检测与纠正的最佳监控深度不同。
引用
@article{arxiv.2604.18567,
title = {Latent Phase-Shift Rollback: Inference-Time Error Correction via Residual Stream Monitoring and KV-Cache Steering},
author = {Manan Gupta and Dhruv Kumar},
journal= {arXiv preprint arXiv:2604.18567},
year = {2026}
}
备注
Under Review