UNCERTAINTY-LINE：用于大型语言模型的长度不变不确定性估计
计算与语言
2025-09-26 v2
摘要
大型语言模型（LLMs）已成为各类应用中不可或缺的工具，确保其输出质量和可信度变得尤为重要。这推动了对不确定性定量（UQ）方法的日益关注，以评估 LLM 输出的可靠性。许多现有 UQ 技术依赖 token 概率，这不可避免地引入对输出长度的偏置。虽然某些方法试图解释此偏置，但我们表明，即使在长度归一化方法中，此类偏置仍然存在。为解决此问题，本文提出了 UNCERTAINTY-LINE：（Length-INvariant Estimation），一种简单的去偏 procedure，通过对不确定性得分进行回归并以残差形式作为校正后的、长度不变估计。我们的方法是后处理的、模型无关的，可适用于多种 UQ 措施。通过在机器翻译、摘要生成和问答任务上的大量评估，我们展示了 UNCERTAINTY-LINE 在多个指标和模型上均显著优于即使名义上进行长度归一化的 UQ 方法。
引用
@article{arxiv.2505.19060,
title = {UNCERTAINTY-LINE: Length-Invariant Estimation of Uncertainty for Large Language Models},
author = {Roman Vashurin and Maiya Goloburda and Preslav Nakov and Maxim Panov},
journal= {arXiv preprint arXiv:2505.19060},
year = {2025}
}