通过有向蕴涵图和声明级响应增强实现大语言模型不确定性量化

大语言模型（LLM）在跨领域的复杂任务中展现了卓越的能力，从基本的问答（QA）出发，如今它们被用作决策助手或陌生内容的解释器。然而，由于特定领域语料库的数据稀疏性或模型的幻觉问题，它们并非总是正确的。鉴于此，我们应该在多大程度上信任LLM的响应？本文提出了一种新颖的方法来评估捕捉方向不稳定性的不确定性，通过从蕴涵概率构建有向图，并创新性地针对所构建有向图的非对称性质进行随机游走拉普拉斯变换，然后通过拉普拉斯过程导出的特征值来聚合不确定性。我们还提供了一种将现有工作的语义不确定性与我们提出的层相结合的方法。此外，本文识别了原始响应集中的模糊性问题，并提出了一种增强方法来缓解该问题。我们进行了广泛的实证实验，并证明了我们提出解决方案的优越性。