基于语义相似度的学习改进抽象式摘要
计算与语言
2021-06-03 v2
摘要
借助预训练语言模型，摘要模型近来取得了快速进展。然而，这些模型主要通过 ROUGE 等自动评价指标进行评估。尽管已知 ROUGE 与人工评分呈正相关，但其易受攻击以及与真实质量之间存在差距的问题一直受到批评。在本文中，我们使用众包人工评价指标，将近期语言模型 BART 生成的摘要与基准数据集 CNN/DM 的参考摘要进行比较。有趣的是，模型生成的摘要相对于参考摘要获得了更高的分数。基于我们的实验结果，我们首先探讨了 CNN/DM 数据集的内在特征、预训练语言模型的进展及其在训练数据上的泛化能力。最后，我们分享了对模型生成摘要的见解，并提出了关于抽象式摘要学习方法的思考。
引用
@article{arxiv.2002.07767,
title = {Learning by Semantic Similarity Makes Abstractive Summarization Better},
author = {Wonjin Yoon and Yoon Sun Yeo and Minbyul Jeong and Bong-Jun Yi and Jaewoo Kang},
journal= {arXiv preprint arXiv:2002.07767},
year = {2021}
}
备注
The initial version of the manuscript includes a model design (semsim), experimental results, and discussions on the results. We found that our model has flaws in its implementation and design. This final version of the manuscript is from the rest of the initial paper; we included our findings on the benchmark dataset, BART generated results and human evaluations, and we excluded our model semsim