检索增强语言模型知道自己何时不知道吗？

现有的大型语言模型（LLMs）偶尔会生成看似合理但事实上不正确的回答，这被称为幻觉。为缓解幻觉，已有两种主要方法被提出：检索增强语言模型（RALMs）和拒答后训练。然而，当前研究主要关注它们各自的有效性，而忽视了对 RALMs 拒答能力的评估。理想情况下，如果 RALMs 知道自己何时不知道，它们应该拒绝回答。在本研究中，我们提出一个基本问题：RALMs 知道自己何时不知道吗？具体而言，我们研究了三个问题。首先，RALMs 针对不同的内部和外部知识状态是否经过了良好校准？我们考察了各种因素的影响。与预期相反，当所有检索到的文档都不相关时，RALMs 仍然倾向于拒绝它们本可以正确回答的问题。接下来，鉴于模型显著的 \textbf{过度拒答} 行为，我们提出第二个问题：RALM 的拒答能力与其校准质量之间有何关联？我们的结果表明，过度拒答问题可以通过上下文微调得到缓解。然而，我们观察到拒答行为的改善并不一定意味着更好的校准或更高的整体准确率。最后，我们问道：能否将拒答感知的 RALMs 与基于不确定性的弃答相结合，以缓解过度拒答？我们为经过拒答后训练的 RALMs 开发了一种简单而有效的拒答机制，通过平衡拒答与正确回答来提升其整体回答质量。我们的研究为影响 RALMs 行为的因素提供了更全面的理解。同时，我们强调 RALMs 的不确定性估计仍是一个开放问题，值得深入研究。