“为何这是误导性的?”:带解释的新闻标题幻觉检测

自动标题生成使用户能够及时理解正在发生的新闻事件,近来已成为网络挖掘与自然语言处理中的一项重要任务。随着对新闻标题生成需求的增长,我们认为幻觉问题,即生成标题不被原始新闻故事所支持,是该功能在万维级系统中部署的关键挑战。同时,由于幻觉案例稀少且标注者需仔细研读才能达成正确共识,难以通过人工整理获得大规模数据集来训练模型检测此类幻觉。在本文中,我们提出一个名为 ExHalder 的新框架,以应对标题幻觉检测的这一挑战。ExHalder 将公开自然语言推理数据集中的知识适配到新闻领域,并学习生成自然语言句子来解释幻觉检测结果。为评估模型性能,我们精心收集了一个含六千余条标注的 <文章,标题> 对的数据集。在该数据集及另外六个公开数据集上的大量实验表明,ExHalder 能准确识别幻觉标题,并以人类可读的自然语言解释为其预测提供依据。