未来有效性是缺失的统计量:从不可实现到语法忠实的投机解码
机器学习
2026-05-11 v1 信息论
math.IT
摘要
语法约束生成常与局部词汇遮蔽和投机解码结合,但结果得到的抽样律并非用户通常期望的语法条件分布。我们表明,任何具有局部遮蔽访问、Leviathan拒绝和回滚正确性的投机解码器都会从局部投影分布而非语法条件分布进行抽样。这将GAD不可实现结果扩展到投机解码;在Dyck语法中使用Qwen3-8B时,总变差间可达0.996。我们识别到未来有效性函数作为缺失的校正统计量。目标分布是以为基础模型的Doob变换,而局部遮蔽对应于将设置为1。具有精确的oracle解码器FVO-Spec可精确抽样自;使用近似,我们可界定结果总变差误差。由于一般情形语境无限语法的精确未来有效性困难,我们在可遍历的Dyck和有限JSON语言上评估估计器层次。OneStep在Dyck TV中降低14%,且在吞吞量开销下于1%;精确动态规划将其降低97%;有限语言校正将JSON差距缩小至数值精度。所有保真度主张均限于可枚举语法和token trie。
引用
@article{arxiv.2605.07698,
title = {Future Validity is the Missing Statistic: From Impossibility to $\Phi$-Estimation for Grammar-Faithful Speculative Decoding},
author = {Wenhua Nie and Zijie Meng and Kun Zou and Zheng Lin and Ziwei Li and Haoran Zheng and Jyh-Shing Roger Jang and Hao Zhang},
journal= {arXiv preprint arXiv:2605.07698},
year = {2026}
}