从分组损失视角重构大语言模型置信度
计算与语言
2024-10-24 v3
摘要
包括 ChatGPT 和 LLaMA 在内的大语言模型（LLMs）容易以自信的语气生成幻觉答案。尽管引出和校准置信度分数的努力已被证明有用，但最近的研究表明，控制不确定性必须超越校准：由于分组损失（grouping loss）的影响，预测分数可能与实际后验概率显著偏离。在本工作中，我们构建了一个源自知识库的新评估数据集，用于评估 Mistral 和 LLaMA 对答案给出的置信度分数。实验表明，它们倾向于过度自信。此外，我们发现它们对某些答案的过度自信程度高于其他答案，例如取决于查询中人物的国籍。在不确定性量化理论中，这就是分组损失。为解决这一问题，我们提出了一种重构 LLMs 置信度的方案，不仅消除校准误差，还消除分组损失。经过重构置信度过程后的 LLMs，其置信度与回答准确性的对齐程度有所提高。
引用
@article{arxiv.2402.04957,
title = {Reconfidencing LLMs from the Grouping Loss Perspective},
author = {Lihu Chen and Alexandre Perez-Lebel and Fabian M. Suchanek and Gaël Varoquaux},
journal= {arXiv preprint arXiv:2402.04957},
year = {2024}
}
备注
EMNLP 2024 Findings