SummaC：重新审视基于 NLI 的摘要不一致性检测模型
计算与语言
2021-11-19 v1
摘要
在摘要领域，摘要的一个关键要求是与输入文档在事实上保持一致。先前的研究发现，自然语言推理（NLI）模型在应用于不一致性检测时表现不佳。在本工作中，我们重新审视 NLI 在不一致性检测中的使用，发现过去的工作存在 NLI 数据集（句子级）与不一致性检测（文档级）之间输入粒度不匹配的问题。我们提出一种名为 SummaCConv 的轻量且高效的方法，通过将文档分割为句子单元并聚合句子对之间的分数，使 NLI 模型能够成功用于该任务。在我们新引入的名为 SummaC（Summary Consistency）的基准（包含六个大型不一致性检测数据集）上，SummaCConv 取得了最先进的结果，平衡准确率为 74.4%，相比先前工作提升了 5 个百分点。我们公开了模型与数据集：https://github.com/tingofurro/summac
引用
@article{arxiv.2111.09525,
title = {SummaC: Re-Visiting NLI-based Models for Inconsistency Detection in Summarization},
author = {Philippe Laban and Tobias Schnabel and Paul N. Bennett and Marti A. Hearst},
journal= {arXiv preprint arXiv:2111.09525},
year = {2021}
}
备注
TACL pre-MIT Press publication version; 11 pages, 2 figures, 5 tables