通过免训练分布散度从第一性原理重新审视 Judge Decoding
计算与语言
2026-01-09 v1
摘要
Judge Decoding 通过放宽 Speculative Decoding 的严格验证来加速 LLM 推理，但它通常依赖于昂贵且有噪声的监督。在这项工作中，我们从第一性原理重新审视这一范式，揭示了通过昂贵监督学习到的“临界性”分数本质上编码在草稿-目标分布散度中。我们在理论上证明了学习到的线性判断器与 Kullback-Leibler (KL) 散度之间的结构对应关系，表明它们依赖于相同的底层 logit 基元。在此指导下，我们提出了一种基于 KL 散度的简单、免训练的验证机制。在推理和编码基准上的大量实验表明，我们的方法匹配或优于复杂的训练判断器（例如 AutoJudge），在领域偏移上提供了卓越的鲁棒性，并完全消除了监督瓶颈。
引用
@article{arxiv.2601.04766,
title = {Revisiting Judge Decoding from First Principles via Training-Free Distributional Divergence},
author = {Shengyin Sun and Yiming Li and Renxi Liu and Weizhe Lin and Hui-Ling Zhen and Xianzhi Yu and Mingxuan Yuan and Chen Ma},
journal= {arXiv preprint arXiv:2601.04766},
year = {2026}
}
备注
16 pages