更强的模型并非指令微调的更强教师

指令微调已被广泛采用，以确保大型语言模型有效遵循用户指令。LLM由此产生的指令遵循能力在很大程度上取决于用于微调的指令数据集。最近，合成指令数据集已成为为LLM提供多样化和高质量指令的经济可行的解决方案。然而，现有方法通常假设更大或更强的模型是指令微调的更强教师，因此简单地采用这些模型作为合成指令的响应生成器。在本文中，我们挑战了这一普遍采用的假设。我们在五个基础模型和二十个响应生成器上的广泛实验表明，更大更强的模型不一定是较小模型的更强教师。我们将此现象称为“更大模型悖论”。我们观察到，现有指标无法精确预测响应生成器的有效性，因为它们忽略了教师与正在微调的基础模型之间的兼容性。因此，我们开发了一种新的指标，称为兼容性调整奖励，用于衡量响应生成器的有效性。我们在五个基础模型上的实验表明，CAR几乎优于所有基线。