面向长文本语言模型输出的基于图的不确定性度量
计算与语言
2024-10-29 v1 人工智能
机器学习
摘要
大型语言模型 (LLM) 的最新进展显著提升了文本生成能力，但这些系统仍存在幻觉问题，且对长文本LLM生成内容进行细粒度不确定性估计仍具挑战性。在本工作中，我们提出了图不确定性 (Graph Uncertainty)——将LLM生成内容及其内部声明之间的关系表示为二部图，并利用一系列图中心性度量来估计声明级别的不确定性。在此视角下，基于自洽性概念的现有不确定性估计方法可被视为使用度中心性作为不确定性度量，而我们证明了诸如接近中心性等更复杂的替代方法在声明级别不确定性估计中能带来一致的提升。此外，我们提出了一种不确定性感知解码技术，该技术同时利用图结构和不确定性估计，通过仅保留最可靠的声明来提高LLM生成内容的事实性。与现有方法相比，我们基于图的不确定性度量在各种长文本生成设置下的AUPRC平均相对提升了6.8%，且我们的端到端系统在事实性上比现有解码技术持续提升2-4%，同时显著提高了生成响应的信息量。
引用
@article{arxiv.2410.20783,
title = {Graph-based Uncertainty Metrics for Long-form Language Model Outputs},
author = {Mingjian Jiang and Yangjun Ruan and Prasanna Sattigeri and Salim Roukos and Tatsunori Hashimoto},
journal= {arXiv preprint arXiv:2410.20783},
year = {2024}
}
备注
Accepted as a Spotlight paper at NeurIPS 2024