FLEEK：基于外部知识检索证据的事实错误检测与纠正
计算与语言
2023-10-27 v1
摘要
检测文本信息中的事实错误（无论由大语言模型（LLM）生成还是由人工整理）对于做出明智决策至关重要。LLM 无法将其主张归因于外部知识且倾向于幻觉，使其回答难以信赖。人类在写作中也容易出现事实错误。由于人工检测和纠正事实错误劳动强度大，开发自动方法可大幅减少人力。我们提出 FLEEK，一种原型工具，可自动从文本中提取事实主张、从外部知识源收集证据、评估各主张的事实性，并利用收集的证据对识别出的错误建议修订。在事实错误检测上的初步实证评估（77-85% F1）显示了 FLEEK 的潜力。FLEEK 的视频演示见 https://youtu.be/NapJFUlkPdQ。
引用
@article{arxiv.2310.17119,
title = {FLEEK: Factual Error Detection and Correction with Evidence Retrieved from External Knowledge},
author = {Farima Fatahi Bayat and Kun Qian and Benjamin Han and Yisi Sang and Anton Belyi and Samira Khorshidi and Fei Wu and Ihab F. Ilyas and Yunyao Li},
journal= {arXiv preprint arXiv:2310.17119},
year = {2023}
}
备注
EMNLP 2023 (Demonstration Track)