基于温度的投机解码与知识蒸馏探究

投机解码作为加速自回归（大型）语言模型推理的关键技术，该方法利用较小的草稿模型预测一组 token，然后由目标模型进行评估以决定是否接受。尽管已有大量研究旨在提高投机解码的效率，但关于生成配置对解码过程的影响仍鲜有了解，尤其是关于解码温度的影响。本文深入探讨了解码温度对投机解码效能的影响。首先，我们从知识蒸馏（KD）入手，指出在较高温度下解码的挑战，并演示在一致的温度设置下进行 KD 可作为解决方案。我们还调查了不同温度下测试集表现的影响。基于这些发现，我们进一步致力于提升投机解码在高温生成设置下的速度。本工作为如何使投机解码的性能受生成配置影响提供了新见解，并强调了开发专注于多样化解码配置的方法的必要性。代码已公开于 https://github.com/ozyyshr/TempSpec。