LLM评判器的自动提示集合
人工智能
2025-10-09 v1 机器学习
摘要
我们提出一种新框架，通过选择性地为LLM评判器增添额外评估维度，以提升其可靠性。现有的LLM评判器往往因未能识别人类评估所隐含的标准而忽略关键评估维度。为此，我们提出自动提示集合（Auto-Prompt Ensemble, APE），一种自适应框架，自动从其失败案例中学习评估维度。APE包含基于置信度的集合机制，通过一种新颖的置信度估计方法（称为Collective Confidence）来决定是否采用来自额外评估维度的判断。大量实验表明，APE在多样化的标准基准上显著提升了LLM评判器的可靠性。例如，APE在零样本设置下使GPT-4o在Reward Bench上的一致性提升至90.5%。总体而言，APE为LLM评判器利用测试时计算提供了原则方法，弥合了人类评判器与LLM评判器之间的评估差距。
引用
@article{arxiv.2510.06538,
title = {Auto-Prompt Ensemble for LLM Judge},
author = {Jiajie Li and Huayi Zhang and Peng Lin and Jinjun Xiong and Wei Xu},
journal= {arXiv preprint arXiv:2510.06538},
year = {2025}
}