Delta 学习假设：弱数据上的偏好调优可产生显著提升

语言模型的改进往往依赖于提高训练数据的质量，而当强监督数据稀缺时，这往往成为限制因素。本文我们表明，由单个弱数据点组成的配对偏好数据，能够实现超出每个单独数据点强度的提升。我们提出 delta 学习假设来解释这一现象，认为点之间质量的相对 delta 足以通过偏好调优驱动学习——即使在对弱数据的监督微调会受限。我们在受控实验中对该假设进行了验证，并在大规模实验中验证，其中我们对 8B 参数的模型进行后训练，使用由小型 3B 模型的响应与更小 1.5B 模型输出配对生成的偏好数据创建有意义的 delta。惊人地，我们的简单配方在标准的 11 项评估套件（MATH、MMLU 等）上，达到了与基于相同基础模型调优的 Tulu 3 相当的性能，而该模型依赖更强的监督者（如 GPT-4o）。因此，delta 学习使得针对 SOTA 后训练的简单且经济实惠的开源配方成为可能。为更好地理解 delta 学习，我们在逻辑回归中证明了两个弱教师模型之间的性能差距为改进更强学生提供了有用的信号。总体而言，我们的工作表明，即便是通常被视为弱数据的配对数据，模型也能学得相当好。