Medico:基于多源证据融合的人造言检测与纠正框架
计算与语言
2024-10-15 v1 信息检索
摘要
众所周知,大型语言模型(LLM)中存在大量人造言,其生成内容虽连贯却缺乏事实依据,这对 LLM 的广泛应用造成了沉重打击。先前的研究表明,LLM 往往能自信地陈述不存在的事实,而非回答“我不知道”。因此,有必要依赖外部知识来检测和纠正人造言内容。由于手动检测和纠正事实错误耗费人力,开发一种自动化的端到端人造言检查方法确实迫在眉睫。为此,我们提出了 Medico——一种多源证据融合增强的人造言检测与纠正框架。Medico 融合来自多个来源的多样化证据,检测生成内容是否包含事实错误,提供判断依据,并迭代修正人造言内容。实验结果在证据检索(0.964 HR@5, 0.908 MRR@5)、人造言检测(0.927-0.951 F1)和人造言纠正(0.973-0.979 批准率)方面均显示出良好的潜力。Medico 的演示视频可在 https://youtu.be/RtsO6CSesBI 查看。
引用
@article{arxiv.2410.10408,
title = {Medico: Towards Hallucination Detection and Correction with Multi-source Evidence Fusion},
author = {Xinping Zhao and Jindi Yu and Zhenyu Liu and Jifang Wang and Dongfang Li and Yibin Chen and Baotian Hu and Min Zhang},
journal= {arXiv preprint arXiv:2410.10408},
year = {2024}
}
备注
12 pages, 3 figures, 6 tables. Accepted by EMNLP 2024's demo track