Distance Is All You Need：径向离散用于大语言模型的不确定性估计
机器学习
2026-04-08 v3
摘要
检测大语言模型（LLM）的不确定性对于构建可靠系统至关重要，但许多现有方法过于复杂，依赖脆弱的语义聚类或访问模型内部结构。我们引入径向离散得分（RDS），一种简单、训练自由、完全模型无关的不确定性指标，通过测量嵌入空间中抽样生成的径向离散来衡量。具体而言，给定 N 个抽样生成嵌入于单位超球面上，RDS 计算从经验质心（即平均嵌入）到各生成的 l1 距离总和，提供语义变异性的直接几何信号。一种轻量级概率加权变体进一步整合模型自身的 token 概率， outperform 了九个最新最先进的基线。此外，RDS 天然扩展为针对单个样本的有效不确定性估计，补充概率和一致性方法，同时保持轻量级便于实际应用。在四个具有挑战性的 free-form问答数据集和四个 LLM 上，我们的指标实现了最先进的幻觉检测性能，同时对样本大小和嵌入选择保持鲁健和可扩展。这些结果凸显了 RDS 的实际价值及其对提高 LLM 可信度的贡献。代码已公开于 https://github.com/manhitv/RDS。
引用
@article{arxiv.2512.04351,
title = {Distance Is All You Need: Radial Dispersion for Uncertainty Estimation in Large Language Models},
author = {Manh Nguyen and Sunil Gupta and Hung Le},
journal= {arXiv preprint arXiv:2512.04351},
year = {2026}
}