IRPM：基于群间相对偏好建模的点状生成式奖励模型
机器学习
2026-02-02 v2 人工智能
摘要
生成式奖励模型（GRMs）因其可解释性及通过强化学习（RL）实现模型细化的潜力，展现出了强大的性能。然而，广泛使用的两两 GRMs 在强化学习人类反馈（RLHF）中校准或聚合 n 个备选项的偏好信号时常导致计算瓶颈，需进行 O(n^2) 两两判断。为此，我们提出基于群间比较的点状偏好建模（IRPM）方法，该方法通过扩展布拉德利-蒂尔（Bradley--Terry）偏好学习范式，实现从两两偏好数据训练点状 GRMs。IRPM 通过对比所选组与被拒绝组的样本，为每个回复推导点状奖励，从而实现跨候选集合可比较的点状得分，以及在 RL 训练期间对可变数量候选项进行 O(n) 奖励评估，同时保持可解释性和可扩展性。实验表明，IRPM 在 RM-Bench、JudgeBench 和 RewardBench 上的点状 GRMs 中实现了最先进性能，接近领先的两两 GRMs 水平。此外，IRPM 在后训练评估中实现了显著提升，凸显了其有效性。
引用
@article{arxiv.2601.00677,
title = {IRPM: Intergroup Relative Preference Modeling for Pointwise Generative Reward Models},
author = {Haonan Song and Qingchen Xie and Huan Zhu and Feng Xiao and Luxi Xing and Liu Kang and Fuzhen Li and Zhiyong Zheng and Feng Jiang and Ziheng Li and Kun Yan and Qingyi Si and Yanghua Xiao and Hongcheng Guo and Fan Yang},
journal= {arXiv preprint arXiv:2601.00677},
year = {2026}
}
备注
Comments: Updated title for clarity; improved theoretical derivations; added experiments at additional parameter scales and more ablations; added experimental details in the appendix; updated author list (added five co-authors) to reflect contributions to experiments and writing