Falsesum：生成文档级自然语言推理样例以识别摘要中的事实不一致
计算与语言
2022-05-13 v1
摘要
神经抽取式摘要模型容易生成与其源文档事实不一致的摘要。先前的工作已将识别此类事实不一致的任务作为自然语言推理（NLI）的下游应用引入。然而，最先进的 NLI 模型在此情境下表现不佳，因其无法泛化到目标任务。在本工作中，我们表明当训练数据通过高质量面向任务的样例进行增强时，NLI 模型可对该任务有效。我们提出 Falsesum，一种利用可控文本生成模型扰动人工标注摘要、引入多种类型事实不一致的数据生成流水线。与先前引入的文档级 NLI 数据集不同，我们生成的数据集包含多样、不一致但合理的样例。我们表明，在 Falsesum 增强的 NLI 数据集上训练的模型在四个用于检测摘要事实不一致性的基准上提升了最先进性能。获取该数据集的代码可在 https://github.com/joshbambrick/Falsesum 在线获得。
引用
@article{arxiv.2205.06009,
title = {Falsesum: Generating Document-level NLI Examples for Recognizing Factual Inconsistency in Summarization},
author = {Prasetya Ajie Utama and Joshua Bambrick and Nafise Sadat Moosavi and Iryna Gurevych},
journal= {arXiv preprint arXiv:2205.06009},
year = {2022}
}
备注
Accepted to appear at NAACL 2022