大语言模型是否知道它们所不知道的？
计算与语言
2023-05-31 v2
摘要
大语言模型（LLMs）拥有丰富的知识，使其能在各类自然语言处理（NLP）任务中表现出色。当前研究聚焦于在已有知识范围内提升其性能。尽管知识广博，LLMs 仍受限于其所能容纳与理解的信息量。因此，理解自身在未知事物上的局限（称为自我知识）的能力至关重要。本研究通过评估 LLMs 识别无法回答或不可知问题的能力，来衡量其自我知识。我们提出一种自动化方法检测这些模型回答中的不确定性，为其自我知识提供新的度量。我们进一步引入一个独特的数据集 SelfAware，包含来自五个不同类别的不可回答问题及其可回答对应问题。我们对包括 GPT-3、InstructGPT 和 LLaMA 在内的 20 个 LLMs 进行了广泛分析，发现这些模型具有内在的自我知识能力。此外，我们证明上下文学习（in-context learning）与指令微调（instruction tuning）可进一步增强该自我知识。尽管这一发现令人鼓舞，我们的结果也凸显出这些模型的能力与人类在识别自身知识边界上的水平之间仍存在显著差距。
引用
@article{arxiv.2305.18153,
title = {Do Large Language Models Know What They Don't Know?},
author = {Zhangyue Yin and Qiushi Sun and Qipeng Guo and Jiawen Wu and Xipeng Qiu and Xuanjing Huang},
journal= {arXiv preprint arXiv:2305.18153},
year = {2023}
}
备注
10 pages, 9 figures, accepted by Findings of ACL2023