指向与否：理解抽象摘要模型如何改写文本
计算与语言
2021-06-04 v1
摘要
如所生成摘要的 ROUGE 分数所示，抽象式神经摘要模型近年来取得巨大改进。但尽管指标提升，人们对不同模型所采用的策略及其与语言理解的关系仍知之有限。为更好理解这一点，我们运行若干实验来刻画一种流行抽象模型——See et al. (2017) 的指针-生成器（pointer-generator）模型——如何利用其显式复制/生成开关来控制抽象（生成）与抽取（复制）的程度。在一个偏向抽取的 dataset 上，模型利用句法边界截断否则常被逐字复制的句子。当我们修改复制/生成开关并强制模型生成时，仅展现出简单的改写能力，同时伴随事实错误与幻觉。在一个偏向抽象的 dataset 上，模型很少复制，但展现出类似的有限抽象能力。与先前研究一致，这些结果表明抽象摘要模型缺乏生成既抽象又忠实于源文档的改写所需的语义理解。
引用
@article{arxiv.2106.01581,
title = {To Point or Not to Point: Understanding How Abstractive Summarizers Paraphrase Text},
author = {Matt Wilber and William Timkey and Marten Van Schijndel},
journal= {arXiv preprint arXiv:2106.01581},
year = {2021}
}
备注
Findings of ACL 2021