大语言模型评估中不确定性的非参数排序置信图
机器学习
2025-02-11 v2 机器学习
统计方法学
摘要
我们考虑大语言模型（LLM）排序的推理。对齐问题是在使用LLM时缓解幻觉的一个重大挑战。基于best-of-N策略，对LLM进行排序已被证明是改善对齐的有效工具。在本文中，我们提出了一种用于语言模型排序中假设检验的新推理框架。我们的框架基于一个非参数上下文排序框架，旨在评估大语言模型的领域特定专业知识，利用非参数评分方法来考虑它们对提示的敏感性。为了刻画排序的组合复杂性，我们引入了一种置信图的新概念，它利用Hasse图通过单个有向图表示整个排序置信集。我们通过将高斯乘子自助理论推进到适应不一定同分布的独立经验过程的上确界，证明了所提出的置信图的有效性。在合成数据和真实数据上进行的广泛数值实验表明，我们的方法在不同医学领域评估不同LLM性能方面提供了有价值的见解。
引用
@article{arxiv.2412.05506,
title = {Confidence Diagram of Nonparametric Ranking for Uncertainty Assessment in Large Language Models Evaluation},
author = {Zebin Wang and Yi Han and Ethan X. Fang and Lan Wang and Junwei Lu},
journal= {arXiv preprint arXiv:2412.05506},
year = {2025}
}