关于语义保持嵌入的梯度揭示大语言模型的不确定性
计算与语言
2026-05-07 v1 人工智能
摘要
不确定性量化是确保LLM可信度的重要技术，因为LLM容易产生幻觉。现有的自由形式生成的SOTA不确定性量化方法严重依赖采样，这会带来高计算成本和方差。在本工作中，我们提出了首个用于自由形式生成的基于梯度的不确定性量化方法SemGrad，该方法无需采样且计算高效。与之前为分类任务开发的在参数空间中操作的基于梯度的方法不同，我们提出在语义空间中考虑梯度。我们的方法建立在关键直觉之上：一个自信的LLLM在语义等价的输入扰动下应保持稳定的输出分布。我们将这种稳定性解释为语义空间中的梯度，并引入语义保持分数（SPS）来识别最能捕获语义的嵌入，并据此计算梯度。我们进一步提出了HybridGrad，它结合了SemGrad和参数梯度的优势。实验表明，我们的两种方法都提供了高效且有效的不确定性估计，取得了优于SOTA方法的性能，特别是在存在多个有效响应的设置中。
引用
@article{arxiv.2605.04638,
title = {Gradients with Respect to Semantics Preserving Embeddings Tell the Uncertainty of Large Language Models},
author = {Mingda Li and Rundong Lv and Xinyu Li and Weinan Zhang and Ting Liu},
journal= {arXiv preprint arXiv:2605.04638},
year = {2026}
}
备注
Accepted by ICML 2026