UniCBE：基于统一性比较的统一多目标优化评估框架
计算与语言
2025-02-18 v1
摘要
人类偏好在衡量大型语言模型并引导其与人类价值观一致方面发挥着重要作用。然而，当前的比较型评估（CBE）方法通常只关注单一优化目标，未能有效利用稀缺且宝贵的偏好信号。为此，我们深入分析了可以提高 CBE 准确性、收敛性和可扩展性的关键因素：抑制抽样偏差、平衡不确定性下降过程以及缓解更新不确定性。遵循派生出的指南，我们提出了 UniCBE——一个基于统一性驱动的 CBE 框架，通过构建和集成三个解耦的抽样概率矩阵来同时优化这些核心目标。我们进一步对最优元组抽样和偏好聚合策略进行消融，以实现高效的 CBE。在 AlpacaEval 框架上，UniCBE 可节省超过 17% 的评估预算，同时实现 Pearson 相关系数超过 0.995，显示出卓越的准确性和收敛性。在新模型持续引入的场景下，UniCBE 甚至可节省超过 50% 的评估成本，凸显其改进的可扩展性。
引用
@article{arxiv.2502.11454,
title = {UniCBE: An Uniformity-driven Comparing Based Evaluation Framework with Unified Multi-Objective Optimization},
author = {Peiwen Yuan and Shaoxiong Feng and Yiwei Li and Xinglin Wang and Yueqi Zhang and Jiayi Shi and Chuyi Tan and Boyuan Pan and Yao Hu and Kan Li},
journal= {arXiv preprint arXiv:2502.11454},
year = {2025}
}
备注
ICLR 2025 spotlight