衡量 RLVR 中经验计算-监督权衡
机器学习
2026-05-28 v2 人工智能
摘要
基于可验证奖励的强化学习 (RLVR) 已成为 post-training language models 的标准范式，但实际情况中，验证器很少完美。最近的理论工作预测，验证器噪声会影响学习速度但不会影响最终结果，这暗示足够的计算应该能弥合由不完美监督引入的差距。我们通过在 GSM8K 上使用 GRPO 对 Qwen2.5 (0.5B, 1.5B) 进行 post-training，并向二进制正确信号中注入受控的 false-positive 和 false-negative 噪声，分别以每 prompt 的 rollout 数量作为计算轴进行测试。实际情况中，在大量计算扩展下，验证准确率的差距仍然存在，且计算的回报呈现显著递减。我们进一步发现，false negatives 单调降低性能的速度远快于 false positives。这表明验证器质量和训练计算并非可互换的，且减少 false negatives 是比单纯扩大计算更有效的杠杆。
引用
@article{arxiv.2605.25252,
title = {Quantifying Empirical Compute-Supervision Tradeoffs in RLVR},
author = {Ryo Mitsuhashi and Patrick Chen and Isabelle Tseng and Jasin Cekinmez and Addison J. Wu},
journal= {arXiv preprint arXiv:2605.25252},
year = {2026}
}
备注
Workshop on Combining Theory and Benchmarks @ ICML 2026