大语言模型何时需要检索增强？缓解大语言模型的过度自信有助于检索增强
计算与语言
2024-06-12 v2
摘要
研究发现，大语言模型（LLM）难以意识到自己缺乏某些知识，并倾向于在这种情况下提供似是而非的答案。检索增强（RA）已被广泛研究以缓解 LLM 的幻觉。然而，由于检索带来的额外开销和质量不确定性，始终进行 RA 可能并非最优选择。一个直接的想法是仅在 LLM 对问题不确定时才进行检索。这促使我们增强 LLM 感知其知识边界的能力以辅助 RA。在本文中，我们首先定量测量了 LLM 的这种能力并确认了其过度自信。随后，我们研究了 LLM 对问题的确定性与其对外部检索信息的依赖性之间的相关性。我们提出了几种方法来增强 LLM 对知识边界的感知，并表明这些方法能有效减少过度自信。此外，配备这些方法后，LLM 能够在大幅减少检索调用的情况下，实现相当甚至更好的 RA 性能。
引用
@article{arxiv.2402.11457,
title = {When Do LLMs Need Retrieval Augmentation? Mitigating LLMs' Overconfidence Helps Retrieval Augmentation},
author = {Shiyu Ni and Keping Bi and Jiafeng Guo and Xueqi Cheng},
journal= {arXiv preprint arXiv:2402.11457},
year = {2024}
}