面向上下文感知抽取式摘要的自监督学习
计算与语言
2019-06-12 v1
摘要
现有的抽取式摘要模型通常使用交叉熵损失从头开始训练，这并未显式地捕获文档级别的全局上下文。在本文中，我们旨在通过引入三个辅助预训练任务来改进这一任务，这些任务以自监督的方式学习捕获文档级别的上下文。在广泛使用的CNN/DM数据集上的实验验证了所提辅助任务的有效性。此外，我们表明，经过预训练后，一个具有简单构建模块的干净模型能够超越先前精心设计的最先进模型。
引用
@article{arxiv.1906.04466,
title = {Self-Supervised Learning for Contextualized Extractive Summarization},
author = {Hong Wang and Xin Wang and Wenhan Xiong and Mo Yu and Xiaoxiao Guo and Shiyu Chang and William Yang Wang},
journal= {arXiv preprint arXiv:1906.04466},
year = {2019}
}
备注
Accepted to ACL 2019