通过对比解码合成指令调优数据集
计算与语言
2026-04-16 v1
摘要
使用由高性能大语言模型（LLM）生成的响应进行指令调优已成为广泛采纳的方法。然而，现有文献忽视了 LLM 生成响应的一个属性：它们混合了在预训练期间获取的世界知识与在后期训练期间获取的指令遵循能力。我们假设，将指令遵循能力与预训练知识分离可提高指令调优的效果。为此，我们提出了 CoDIT 方法，该方法在响应生成期间对比后训练模型与其预训练模型进行对比解码。该方法抑制两个模型之间共享的预训练知识，同时放大通过后期训练获得的指令遵循行为， resulting in responses that more purely reflect instruction-following capabilities. 实验结果表明，使用 CoDIT 构建的数据集训练的模型在多个基准测试上 consistently outperform those trained on directly generated responses。训练我们的数据集还在多个基准测试上优于现有的公开可用的指令调优数据集。此外，我们在理论和实证层面表明，CoDIT 可被解释为将聊天向量从参数空间传递到文本空间，从而实现跨不同模型架构的指令调优能力的转移。
引用
@article{arxiv.2604.13538,
title = {Synthesizing Instruction-Tuning Datasets with Contrastive Decoding},
author = {Tatsuya Ichinose and Youmi Ma and Masanari Oi and Ryuto Koike and Naoaki Okazaki},
journal= {arXiv preprint arXiv:2604.13538},
year = {2026}
}
备注
24 pages, 7 figures