通过对比学习增强的 Seq2Seq 自编码器用于抽取式文本摘要
计算与语言
2021-08-30 v1
摘要
本文提出一种通过对比学习去噪的序列到序列（seq2seq）自编码器，用于抽象式文本摘要。我们的模型采用标准的基于 Transformer 的架构，包含多层双向编码器与自回归解码器。为增强其去噪能力，我们引入了自监督对比学习及各种句子级文档增强。这两部分，即 seq2seq 自编码器与对比学习，通过微调联合训练，从而在 ROUGE 分数与人工评估方面提升了文本摘要性能。我们在两个数据集上开展实验，表明我们的模型优于许多现有基准，甚至取得了与以更复杂架构和大量计算资源训练的 SOTA 抽象式系统相当的性能。
引用
@article{arxiv.2108.11992,
title = {Enhanced Seq2Seq Autoencoder via Contrastive Learning for Abstractive Text Summarization},
author = {Chujie Zheng and Kunpeng Zhang and Harry Jiannan Wang and Ling Fan and Zhe Wang},
journal= {arXiv preprint arXiv:2108.11992},
year = {2021}
}