知识验证以将幻觉扼杀在萌芽状态

虽然大型语言模型 (LLMs) 在经过人类对齐后在各种任务中表现出卓越的性能，但它们仍可能生成听起来合理但与事实知识相矛盾的响应，这种现象被称为幻觉。在本文中，我们展示了通过验证并最小化对齐数据中的外部知识与基础 LLMs 中嵌入的内部知识之间的不一致性来缓解幻觉的可行性。具体而言，我们提出了一种名为知识一致对齐 (Knowledge Consistent Alignment, KCA) 的新方法，该方法利用对齐良好的 LLM 基于外部知识自动构建评估，以评估基础 LLMs 的知识边界。为解决对齐数据中的知识不一致问题，KCA 实施了几种特定策略来处理这些数据实例。我们在六个基准测试中展示了 KCA 在减少幻觉方面的优越功效，使用了不同骨干网络和规模的基础 LLMs。这证实了通过减少知识不一致性来缓解幻觉的有效性。我们的代码、模型权重和数据可在 \url{https://github.com/fanqiwan/KCA} 公开获取。