忠实还是抽取？论缓解抽象式摘要中的忠实性-抽象性权衡

尽管抽象式摘要近期取得了进展，系统仍存在忠实性错误。虽然先前工作提出了提升忠实性的模型，但尚不清楚改进是否来自模型输出抽取性程度的提高，因为提升忠实性的一种朴素方法就是使摘要模型更具抽取性。在本工作中，我们提出一个评估摘要系统有效忠实性的框架，通过生成忠实性-抽象性权衡曲线，作为抽象性谱上不同操作点的控制基准。我们随后表明，最大似然估计（MLE）基线以及一种近期提出的改进忠实性的方法，在相同抽象性水平下均劣于该控制基准。最后，我们学习一个选择器来为给定文档识别最忠实且最具抽象性的摘要，并表明该系统在人工评估中能获得更高的忠实性分数，同时在两个数据集上比基线系统更具抽象性。此外，我们表明我们的系统能够在相同抽象性水平下实现比控制基准更好的忠实性-抽象性权衡。