学会拒绝：通过知识范围限制与拒绝机制使大语言模型更可控可靠
计算与语言
2024-09-23 v4 人工智能
摘要
大语言模型（LLMs）已展现出令人印象深刻的语言理解与生成能力，使其能够回答跨多个领域的广泛问题。然而，这些模型并非完美无缺，常常产生包含错误或错误信息的回复。这些不准确内容通常被称为幻觉，使得 LLM 在许多场景中不可靠甚至无法使用。在本文中，我们聚焦于缓解 LLM 中的幻觉问题，特别是在问答场景下。我们并非尝试回答所有问题，而是探索一种拒绝机制，指示 LLM 拒答难以回答的问题以避免错误。随后我们提出了一种简单而有效的方案，称为 Learn to Refuse（L2R，学会拒绝），其结合拒绝机制使 LLM 能够识别并拒答其难以处理的问题。为此，我们利用结构化知识库来表示 LLM 对世界的全部理解，使其能够提供可追溯的黄金知识。该知识库与 LLM 分离且初始为空，可用经验证的知识填充并逐步扩展。当 LLM 遇到领域外问题时，系统识别其知识范围并判断是否能独立回答。此外，我们引入了一种自动且高效扩展 LLM 知识库的方法。通过定性与定量分析，我们证明了该方法增强了 LLM 的可控性与可靠性。
引用
@article{arxiv.2311.01041,
title = {Learn to Refuse: Making Large Language Models More Controllable and Reliable through Knowledge Scope Limitation and Refusal Mechanism},
author = {Lang Cao},
journal= {arXiv preprint arXiv:2311.01041},
year = {2024}
}