验证器严格性的隐藏信号：通过选择性潜在引导控制并改进逐步验证
机器学习
2026-05-21 v1 人工智能
计算与语言
摘要
生成式验证器已成为逐步验证的一种有前景的范式，但其验证行为通常校准不佳：它们可能过于宽松而遗漏错误步骤，或过于严格而拒绝正确的推理。我们将这种过于宽容或过于严格的倾向称为验证器严格性。在这项工作中，我们研究是否可以通过隐藏状态干预来控制验证器严格性。我们发现了一个特定于验证的隐藏状态信号：在逐步验证中，验证器接受或拒绝某个解题步骤的倾向被编码在相应验证段落的边界附近。利用这一信号，我们表明隐藏状态引导可以直接调节验证器严格性，而无需微调。然而，统一的引导会在错误检测和正确性认证之间引入权衡。为了解决这个问题，我们提出了 VerifySteer，它利用潜在的正确性信号进行样本级路由，并选择性地对段落边界进行干预。在 ProcessBench 和 Hard2Verify 上的实验表明，VerifySteer 优于提示优化和激活引导基线，并且与自一致性方法相比具有竞争力，同时所需的推理计算量减少了 4-7 倍。VerifySteer 也是对验证微调的补充，可以在微调后的验证器基础上提供进一步的提升。代码可在 https://github.com/YefanZhou/VerifySteer 获取。
引用
@article{arxiv.2605.20745,
title = {The Hidden Signal of Verifier Strictness: Controlling and Improving Step-Wise Verification via Selective Latent Steering},
author = {Yefan Zhou and Yilun Zhou and Austin Xu and Soroush Vosoughi and Shafiq Joty and Jiang Gui},
journal= {arXiv preprint arXiv:2605.20745},
year = {2026}
}