SimPER：一种无需超参数的极简偏好对齐方法
机器学习
2025-02-21 v4 计算与语言
摘要
现有的用于语言模型对齐的偏好优化目标需要额外的超参数，这些超参数必须经过大量调优才能达到最优性能，这增加了微调大型语言模型的复杂性和所需时间。在本文中，我们提出了一种简单而有效的无超参数偏好优化算法用于对齐。我们观察到，仅通过优化逆困惑度即可实现有前景的性能，该困惑度计算为偏好数据集中所选和拒绝响应的指数化平均对数似然的倒数。由此产生的简单学习目标 SimPER 易于实现，并且无需昂贵的超参数调优和参考模型，使其在计算和内存方面都很高效。在广泛使用的真实世界基准测试上的大量实验，包括 MT-Bench、AlpacaEval 2 以及 Open LLM Leaderboard 的 10 个关键基准测试（涉及 5 个基础模型），表明 SimPER 即使没有任何超参数或参考模型，也能持续且显著地优于现有方法。例如，尽管其设计简单，SimPER 在 AlpacaEval 2 上比最先进的方法高出多达 5.7 分，并在 Open LLM Leaderboard 的 10 个基准测试中取得了最高的平均排名。SimPER 的源代码可在以下网址公开获取：https://github.com/tengxiao1/SimPER。
引用
@article{arxiv.2502.00883,
title = {SimPER: A Minimalist Approach to Preference Alignment without Hyperparameters},
author = {Teng Xiao and Yige Yuan and Zhengyu Chen and Mingxiao Li and Shangsong Liang and Zhaochun Ren and Vasant G Honavar},
journal= {arXiv preprint arXiv:2502.00883},
year = {2025}
}
备注
ICLR 2025