大语言模型的时间引导

对比解码（Contrastive Decoding, CD）会提高大语言模型（LLM）的生成质量，但由于需要辅助模型，计算开销显著。现有的内部自对比解码方法，如基于不同层之间差异的层级对比解码（Decoding by Contrasting Layers, DoLa），在小型模型上表现不稳定。本文基于 LLM 表现出局部偏好这一观察，我们提出了一种沿时间维度的新型对比引导策略，称为时间引导（Temporal Guidance, TeGu）。我们巧妙地利用多标记预测（Multi-Token Prediction, MTP）为模型自身的对比构建较弱的业余预测。为标准化该机制的实现，我们进一步引入了轻量级条件 MTP 投影器（Conditional MTP Projector, cMTPP），该投影器避免了维持其他 MTP 模块所需的多个独立网络。我们方法在 various model 系列和 benchmarks 上均实现了显著的性能提升，同时保持了较低的额外内存消耗和计算开销。