将注意力转向相关性：面向自由形式大语言模型预测不确定性量化
计算与语言
2024-05-30 v3 人工智能
机器学习
摘要
大语言模型（LLMs）在语言生成和指令遵循上展现出有前景的结果，但频繁“幻觉”使其输出可靠性降低。尽管不确定性量化（UQ）提供了潜在解决方案，在 LLM 中精确实现仍具挑战。我们的研究引入一种简单启发式：自回归 LLM 文本中并非所有词元同等代表底层语义，因为“语言冗余”常令少数关键词即可传达长句要义。然而，现有方法在评估不确定性时低估了此种不均衡，导致语义有限的词元在 UQ 中被等同或过度加权。为纠正此点，我们提出在词元级和句子级将注意力转向更相关（SAR）分量以获得更好 UQ。我们开展了涉及一系列流行“现成”LLM（如 Vicuna、WizardLM 和 LLaMA-2-chat，模型规模达 33B 参数）的广泛实验，评估了涵盖阅读理解、科学问答和医学问答等领域的多种自由形式问答任务。实验结果结合全面的人口统计分析，证明了 SAR 的优越性能。代码见 https://github.com/jinhaoduan/SAR。
引用
@article{arxiv.2307.01379,
title = {Shifting Attention to Relevance: Towards the Predictive Uncertainty Quantification of Free-Form Large Language Models},
author = {Jinhao Duan and Hao Cheng and Shiqi Wang and Alex Zavalny and Chenan Wang and Renjing Xu and Bhavya Kailkhura and Kaidi Xu},
journal= {arXiv preprint arXiv:2307.01379},
year = {2024}
}
备注
To appear in ACL 2024