超越单点判断：面向 LLM 即裁判的分布对齐
人工智能
2025-05-20 v1 计算与语言
摘要
在 LLM 作为裁判的范式中，大语言模型 (LLM) 已成为强大的评估器，与人类判断相比，提供了显著的效率和灵活性。然而，先前的方法主要依赖于单点评估，忽略了人类评估中固有的多样性和不确定性。这种方法会导致信息丢失并降低评估的可靠性。为了解决这一局限性，我们提出了一种新颖的训练框架，该框架明确地将 LLM 生成的判断分布与经验性的人类分布对齐。具体来说，我们提出了一个基于 KL 散度的分布对齐目标，并结合辅助交叉熵正则化以稳定训练过程。此外，考虑到经验分布可能源自有限的人工标注，我们引入了对抗训练以增强模型对分布扰动的鲁棒性。在各种 LLM 骨干网络和评估任务上的大量实验表明，我们的框架显著优于现有的闭源 LLM 和传统的单点对齐方法，在对齐质量、评估准确性和鲁棒性方面均有提升。
引用
@article{arxiv.2505.12301,
title = {Beyond Single-Point Judgment: Distribution Alignment for LLM-as-a-Judge},
author = {Luyu Chen and Zeyu Zhang and Haoran Tan and Quanyu Dai and Hao Yang and Zhenhua Dong and Xu Chen},
journal= {arXiv preprint arXiv:2505.12301},
year = {2025}
}
备注
19 pages, 3 tables, 3 figures