知识增强语言模型验证
计算与语言
2023-10-20 v1 机器学习
摘要
近期的语言模型(LMs)已展现出以参数内化知识生成文本的惊人能力。然而，LMs 常对给定查询生成事实错误的回复，因为其知识可能不准确、不完整且过时。为解决此问题，先前工作提出用从外部知识源检索的知识来增强 LMs。然而，此类方法常因两个原因表现出次优的文本生成性能：1) 模型可能未能检索与给定查询相关的知识，或 2) 模型可能未在生成文本中忠实反映检索到的知识。为克服这些，我们提出用一个独立的验证器来验证知识增强 LMs 的输出与知识，该验证器是一个通过对指令微调训练以检测这两类错误的小型 LM。然后，当验证器识别出错误时，我们可通过检索新知识或生成新文本来纠正它。此外，我们使用单一验证器对不同指令输出的集成来增强验证过程的可靠性。我们在多个问答基准上验证了所提验证步骤的有效性，结果表明所提验证器有效识别检索与生成错误，使 LMs 提供更事实正确的输出。我们的代码可在 https://github.com/JinheonBaek/KALMV 获取。
引用
@article{arxiv.2310.12836,
title = {Knowledge-Augmented Language Model Verification},
author = {Jinheon Baek and Soyeong Jeong and Minki Kang and Jong C. Park and Sung Ju Hwang},
journal= {arXiv preprint arXiv:2310.12836},
year = {2023}
}
备注
EMNLP 2023