基于自对齐困惑度的高效响应生成策略选择：面向大语言模型微调

微调大语言模型（LLM）通常依赖于生成大量输入-输出对。然而对于给定的问题，可能存在许多有效的输出。在实践中，这些输出通常通过从教师模型中蒸馏知识来获得，并且它们可能会因所采用的具体教师模型或提示策略而有所不同。最近的发现表明，这些训练输出生成的方式会显著影响微调模型的性能，这引出了一个重要问题：我们如何从众多候选方法中挑选出最佳的数据生成方法？与其对每个候选方法进行穷举式的训练和评估，本文提出了一种可扩展的近似方法，该方法通过评估一小部分生成的数据来估计其对特定目标 LLM 的适用性。我们的核心思想是，有效的输出应该对目标 LLM 而言是熟悉的。尽管先前的工作使用困惑度来衡量这种熟悉度，但通过经验分析和实际观察，我们发现困惑度在表征熟悉度方面可能并非最优。为了解决这一问题，我们引入了自对齐困惑度，这是一种新颖的指标，用于捕捉候选输出与目标 LLM 自身的风格和推理模式的契合程度。通过这种方式，我们可以在小样本上识别出最有效的生成策略，然后将其应用于生成完整的训练集。我们证明，使用所选方法生成的数据进行训练，可以在各种以推理为中心的基准测试上带来显著的性能提升，尤其是在不同候选方法导致训练结果高度分歧的情况下。我们的实现已在 https://github.com/XuanRen4470/SPPL 公开发布。