通过半开放式问答了解大语言模型知识边界的感知
计算与语言
2024-05-24 v1 人工智能
摘要
大型语言模型（LLM）在知识寻求中广泛应用，但因幻觉现象而受到制约。LLM的知识边界（KB）限制了其事实性理解，超出此范围后可能开始产生幻觉。调查LLM感知其KB对于检测幻觉以及LLM可靠生成至关重要。当前研究在答案具体（封闭式问题）的问句上感知LLM的KB，而对对应众多潜在答案的半开放式问题（SoeQ）关注有限。一些研究者通过判断问题是否可答来实现此目标，但这一范式不适用于SoeQ，因为它们通常是部分可答的，包含可答与模糊（不可答）答案。模糊答案对知识寻求至关重要，但可能超出LLM的KB。在本文中，我们通过发现更多模糊答案来对LLM的KB进行SoeQ感知。首先，我们应用LLM方法构建SoeQ并从目标LLM获取答案。不幸的是，主流黑箱LLM的输出概率难以用于抽样以获取低概率模糊答案。因此，我们应用开源辅助模型来探索目标LLM的模糊答案。我们计算现有答案的最近语义表示以估计其概率，通过降低高概率答案的生成概率来实现更有效的生成。最终，我们将来自基于RAG的评估和LLM自评的结果进行比较，将四类超出目标LLM KB的模糊答案归类。遵循本方法，我们构建了一个感知GPT-4 KB的数据集。我们发现GPT-4在SoeQ上表现不佳，常常意识不到自己的KB。此外，我们的辅助模型LLaMA-2-13B在发现更多模糊答案方面效果良好。
引用
@article{arxiv.2405.14383,
title = {Perception of Knowledge Boundary for Large Language Models through Semi-open-ended Question Answering},
author = {Zhihua Wen and Zhiliang Tian and Zexin Jian and Zhen Huang and Pei Ke and Yifu Gao and Minlie Huang and Dongsheng Li},
journal= {arXiv preprint arXiv:2405.14383},
year = {2024}
}