跨越鸿沟： conformative解码以提升指令调优大语言模型的输出多样性
计算与语言
2025-07-29 v1 人工智能
摘要
指令调优大语言模型（LLM）会降低其输出的多样性，这对许多任务尤其是创意任务产生影响。本文研究了编写提示叙事生成任务中的“多样性差距”。该差距通过各种开源和开放权重LLM的当前多样性指标得以衡量。结果表明，指令调优显著降低了多样性。我们探讨了在OLMo和OLMo 2模型的每个微调阶段中多样性损失的情形，以进一步了解输出多样性如何受到影响。结果表明，DPO对多样性影响最大。针对这些发现，我们提出了一种新型解码策略，conformative解码，该策略利用其更具多样性的基础模型指导 instruct模型，以重新引入输出多样性。我们展示，conformative解码通常会增加多样性，甚至在保持或提高质量方面也有所提升。
关键词
引用
@article{arxiv.2507.20956,
title = {Mind the Gap: Conformative Decoding to Improve Output Diversity of Instruction-Tuned Large Language Models},
author = {Max Peeperkorn and Tom Kouwenhoven and Dan Brown and Anna Jordanous},
journal= {arXiv preprint arXiv:2507.20956},
year = {2025}
}
备注
9 pages, 3 figures