将言语不确定性校准为线性特征以减少幻觉
计算与语言
2025-04-24 v2
摘要
大型语言模型(LLM)常常在作出错误主张时也采取自信的语言风格。这种“过度自信的幻觉”会误导用户并削弱信任。因此，实现表达主张实际不确定性程度的能力至关重要。我们发现，言语不确定性在LLM表示空间中由单个线性特征主导，我们进一步表明这仅与模型实际的“语义不确定性”有中度相关性。我们应用这一洞见，表明：(1)语义不确定性与言语不确定性之间的不匹配比语义不确定性本身更能预测幻觉现象；(2)我们可以在推理阶段干预言语不确定性，实现对短形式答案中自信幻觉的平均相对减少约30%。
引用
@article{arxiv.2503.14477,
title = {Calibrating Verbal Uncertainty as a Linear Feature to Reduce Hallucinations},
author = {Ziwei Ji and Lei Yu and Yeskendir Koishekenov and Yejin Bang and Anthony Hartshorn and Alan Schelten and Cheng Zhang and Pascale Fung and Nicola Cancedda},
journal= {arXiv preprint arXiv:2503.14477},
year = {2025}
}