奖励模型综合综述：分类法、应用、挑战与未来
计算与语言
2025-04-18 v1 人工智能
摘要
奖励模型（RM）在增强大语言模型（LLM）方面展现出巨大潜力，因为 RM 可以作为人类偏好的代理，为引导 LLM 在各种任务中的行为提供信号。在本文中，我们对相关研究进行了全面概述，从偏好收集、奖励建模和使用等角度探讨了 RM。接下来，我们介绍了 RM 的应用，并讨论了用于评估的基准。此外，我们对该领域现存的挑战进行了深入分析，并深入探讨了潜在的研究方向。本文致力于为初学者提供对 RM 的全面介绍，并促进未来的研究。相关资源可在 github\footnote{https://github.com/JLZhong23/awesome-reward-models} 公开获取。
引用
@article{arxiv.2504.12328,
title = {A Comprehensive Survey of Reward Models: Taxonomy, Applications, Challenges, and Future},
author = {Jialun Zhong and Wei Shen and Yanzeng Li and Songyang Gao and Hua Lu and Yicheng Chen and Yang Zhang and Wei Zhou and Jinjie Gu and Lei Zou},
journal= {arXiv preprint arXiv:2504.12328},
year = {2025}
}