自我一致性偏好优化

自我对齐技术，即模型在无需人工标注的情况下自我改进，是 rapidly growth 的研究领域。 然而，现有技术常常因难以赋予正确奖励而无法改进 complex reasoning 任务。 已知可提升正确性的另一种正交方法是 self-consistency，即基于 multiple sampling 的推理时方法，用于寻找最一致的答案。 在本 work 中，我们将 self-consistency 概念扩展以帮助训练模型。 因此，我们引入 self-consistency preference optimization (ScPO)，该方法在无监督的 new problems 上迭代训练 consistent 的答案相对于 inconsistent 的答案。 我们表明 ScPO 在 GSM8K 和 MATH 等 reasoning 任务上显著优于 conventional reward model training，缩小与使用 gold answers 或 preferences 进行的 supervised training之间的差距，并且将 ScPO 与 standard supervised learning 结合可进一步提升结果。 在 ZebraLogic 上，ScPO 将 Llama-3 8B 微调为优于 Llama-3 70B、Gemma-2 27B 和 Claude-3 Haiku。