DistiLLM-2：对比学习方法提升 LLM 的蒸馏效果

Jongwoo Ko; Tianyi Chen; Sungnyun Kim; Tianyu Ding; Luming Liang; Ilya Zharkov; Se-Young Yun

DistiLLM-2：对比学习方法提升 LLM 的蒸馏效果

计算与语言 2025-06-02 v2 人工智能机器学习

作者: Jongwoo Ko , Tianyi Chen , Sungnyun Kim , Tianyu Ding , Luming Liang , Ilya Zharkov , Se-Young Yun

摘要

尽管蒸馏在大语言模型中取得了成功，但先前的大多数工作对教师生成数据和学生生成数据应用了相同的损失函数。这些策略忽视了损失函数公式与数据类型之间的协同作用，导致学生模型的性能提升次优。为了解决这个问题，我们提出了 DistiLLM-2，这是一种对比方法，通过利用这种协同作用，同时增加教师响应的可能性并降低学生响应的可能性。我们的大量实验表明，DistiLLM-2 不仅能在广泛的任务范围内构建高性能的学生模型，包括指令遵循和代码生成，还支持多样化的应用，如偏好对齐和视觉语言扩展。这些发现突显了对比方法通过在不同数据类型上有效对齐教师和学生模型，增强 LLM 蒸馏效果的潜力。

关键词

知识蒸馏大语言模型对比学习偏好对齐指令遵循

引用

@article{arxiv.2503.07067,
  title  = {DistiLLM-2: A Contrastive Approach Boosts the Distillation of LLMs},
  author = {Jongwoo Ko and Tianyi Chen and Sungnyun Kim and Tianyu Ding and Luming Liang and Ilya Zharkov and Se-Young Yun},
  journal= {arXiv preprint arXiv:2503.07067},
  year   = {2025}
}

备注

ICML2025 Spotlight

DistiLLM-2：对比学习方法提升 LLM 的蒸馏效果

摘要

关键词

引用

备注

相关论文