基于证据的事实错误纠正
计算与语言
2021-06-18 v2 人工智能
机器学习
摘要
本文提出了事实错误纠正任务:对声明进行编辑,使得生成的改写版本能更好地得到证据支持。这扩展了被广泛研究的事实核查任务,提供了一种机制来纠正那些被证据反驳或仅部分得到证据支持的书面文本。我们证明,可以从现有的事实核查数据集中训练事实错误纠正系统,这些数据集仅包含带有证据的标注声明,而不包含纠正内容。我们通过采用一种两阶段远程监督方法来实现这一点,该方法在生成纠正时将已知证据融入被掩码的声明中。我们的方法基于 T5 transformer 并使用检索到的证据,比使用指针拷贝网络和金标准证据的现有工作取得了更好的结果,在人类评估中准确的事实错误纠正实例数量多出 5 倍,SARI 分数提高了 0.125。评估在一个包含 65,000 个实例的数据集上进行,该数据集基于近期的事实核查共享任务,我们将其发布以促进该任务的进一步研究。
引用
@article{arxiv.2106.01072,
title = {Evidence-based Factual Error Correction},
author = {James Thorne and Andreas Vlachos},
journal= {arXiv preprint arXiv:2106.01072},
year = {2021}
}
备注
Uploaded as a new paper in error. Please see the replacement of arxiv paper 2012.15788v2 for this version: arXiv:2012.15788