知识编辑真的能纠正幻觉吗？
计算与语言
2025-03-04 v3
摘要
大型语言模型（LLMs）尽管在各项任务中表现出卓越的能力，但仍存在幻觉问题，即生成内容中包含非事实信息。与此同时，知识编辑作为一种新的流行范式被开发出来，用于纠正LLMs中编码的错误事实知识，其优势在于避免了从头开始重新训练。然而，现有知识编辑评估数据集的一个常见问题是，它们无法确保LLMs在编辑前确实对评估问题生成了幻觉答案。当使用不同技术编辑后的LLMs在此类数据集上进行评估时，很难直接利用性能来评估不同知识编辑方法在纠正幻觉方面的有效性。因此，一个根本性问题仍未得到充分验证：知识编辑真的能纠正LLMs中的幻觉吗？我们提出了HalluEditBench，以全面评估知识编辑方法在纠正真实世界幻觉方面的性能。首先，我们严格构建了一个包含9个领域、26个主题和超过6000个幻觉的大规模幻觉数据集。然后，我们从五个维度（有效性、泛化性、可迁移性、局部性和鲁棒性）全面评估了知识编辑方法的性能。通过HalluEditBench，我们对不同知识编辑方法在纠正幻觉方面的潜力和局限性提供了新的见解，这有望激发未来的改进并推动知识编辑领域的进步。
引用
@article{arxiv.2410.16251,
title = {Can Knowledge Editing Really Correct Hallucinations?},
author = {Baixiang Huang and Canyu Chen and Xiongxiao Xu and Ali Payani and Kai Shu},
journal= {arXiv preprint arXiv:2410.16251},
year = {2025}
}
备注
ICLR 2025. Main paper: 10 pages; total: 34 pages (including appendix). The first two authors contributed equally to this work. Code, data, results, and additional resources are available on the project website: https://llm-editing.github.io