中文

未来有效性是缺失的统计量:从不可实现到语法忠实的投机解码

机器学习 2026-05-11 v1 信息论 math.IT

摘要

语法约束生成常与局部词汇遮蔽和投机解码结合,但结果得到的抽样律并非用户通常期望的语法条件分布。我们表明,任何具有局部遮蔽访问、Leviathan拒绝和回滚正确性的投机解码器都会从局部投影分布μproj\mu^{\mathrm{proj}}而非语法条件分布μ\mu^\star进行抽样。这将GAD不可实现结果扩展到投机解码;在Dyck语法中使用Qwen3-8B时,总变差间可达0.996。我们识别到未来有效性函数Phit(y)=Prp[有效完成y]Phi_t(y)=\Pr_p[有效完成\mid y]作为缺失的校正统计量。目标分布是以h=Phih=Phi为基础模型的Doob变换,而局部遮蔽对应于将hh设置为1。具有精确PhiPhi的oracle解码器FVO-Spec可精确抽样自mumu^\star;使用近似PhiPhi,我们可界定结果总变差误差。由于一般情形语境无限语法的精确未来有效性困难,我们在可遍历的Dyck和有限JSON语言上评估估计器层次。OneStep在Dyck TV中降低14%,且在吞吞量开销下于1%;精确动态规划将其降低97%;有限语言校正将JSON差距缩小至数值精度。所有保真度主张均限于可枚举语法和token trie。

关键词

引用

@article{arxiv.2605.07698,
  title  = {Future Validity is the Missing Statistic: From Impossibility to $\Phi$-Estimation for Grammar-Faithful Speculative Decoding},
  author = {Wenhua Nie and Zijie Meng and Kun Zou and Zheng Lin and Ziwei Li and Haoran Zheng and Jyh-Shing Roger Jang and Hao Zhang},
  journal= {arXiv preprint arXiv:2605.07698},
  year   = {2026}
}