PiCO：基于一致性优化的大语言模型同行评审
计算与语言
2025-02-24 v3 人工智能
机器学习
摘要
现有的大语言模型（LLM）评估方法通常侧重于在具有人工标注的封闭环境和特定领域基准上测试性能。在本文中，我们探索了一种新的无监督评估方向，利用同行评审机制自动衡量 LLM。在此设置下，开源和闭源 LLM 处于同一环境中，能够回答未标记的问题并相互评估，其中每个 LLM 的响应得分由其他匿名模型共同决定。为了获得这些模型的能力层级，我们为每个 LLM 分配一个可学习的能力参数以调整最终排名。我们将此形式化为一个约束优化问题，旨在最大化每个 LLM 能力与得分的一致性。其背后的关键假设是，高级 LLM 比低级 LLM 能更准确地评估他人的答案，同时高级 LLM 也能获得更高的响应得分。此外，我们提出了三个名为 PEN、CIN 和 LIS 的指标，以评估与人类排名对齐的差距。我们在多个数据集上使用这些指标进行了实验，验证了所提方法的有效性。
引用
@article{arxiv.2402.01830,
title = {PiCO: Peer Review in LLMs based on the Consistency Optimization},
author = {Kun-Peng Ning and Shuo Yang and Yu-Yang Liu and Jia-Yu Yao and Zhen-Hui Liu and Yong-Hong Tian and Yibing Song and Li Yuan},
journal= {arXiv preprint arXiv:2402.01830},
year = {2025}
}