大型语言模型的知识边界发现

我们提出了知识边界发现(Knowledge Boundary Discovery, KBD)，一个基于强化学习的框架，用于探索大型语言模型(LLM)的知识边界。我们通过自动生成两种问题类型来定义知识边界：(i) LLM可以自信回答的问题(在知识边界内)，以及(ii) LLM无法回答的问题(在知识边界之外)。不断探索和利用LLM的响应以发现其知识边界具有挑战性，因为会出现幻觉现象。要发现LLM的知识边界，智能体在部分可观测环境的模型下与LLM交互。智能体生成渐进的问题作为动作，采用熵减少作为奖励，接收LLM的响应作为观察，并更新其信念状态。我们展示了KBD通过自动发现一组可回答且不可回答的问题来检测LLM的知识边界。我们通过将KBD生成的知识边界与手动制作的LLM基准数据集进行比较来验证KBD。实验表明，KBD生成的题目集合与人类生成的数据集相当。我们的ethods为评估LLM开辟了新的方式。