大语言模型事实置信度：当前估算器的可靠性与鲁棒性

大型语言模型（LLM）在事实可靠性方面往往不可靠。为解决这一问题，NLP 研究人员提出了一系列技术来估计 LLM 对事实的置信度。然而，由于缺乏系统性比较，不同方法之间的对比仍不清晰。为填补这一空白，我们present了一项关于事实置信度估算器的调查和实证比较。我们定义了一个允许公平比较的实验框架，涵盖事实验证和问答两方面。我们的实验表明，训练式隐藏状态探针提供了最可靠的置信度估计，尽管需要获取模型权重和训练数据。我们还通过测量模型在输入意义保持变化下的行为一致性，对事实置信度进行更深入的评估。我们发现，LLM 的置信度在在语义等价输入下的稳定性往往不稳定，这表明模型参数知识的稳定性仍有很大的提升空间。我们的代码已公开于 (https://github.com/amazon-science/factual-confidence-of-llms)。