SummAE：基于长度无关自编码器的零样本抽取式文本摘要
计算与语言
2019-10-03 v1 机器学习
神经与进化计算
摘要
我们提出了一种用于段落零样本抽象式文本摘要的端到端神经模型，并基于 ROCStories 引入了一个基准任务 ROCSumm，我们为其收集了人类摘要的子集。在该任务中，五句故事（段落）被用一句话摘要，仅使用人类摘要进行评估。我们展示了抽取式和人类基线的结果，以证明性能上存在巨大的抽象差距。我们的模型 SummAE 由一个去噪自编码器组成，该自编码器将句子和段落嵌入到公共空间中，从中可以解码出二者任一。段落的摘要通过从段落表示中解码出一个句子来生成。我们发现传统的序列到序列自编码器无法产生良好的摘要，并描述了特定的架构选择和预训练技术如何能显著改善性能，超越抽取式基线。数据、训练、评估代码和最佳模型权重均已开源。
引用
@article{arxiv.1910.00998,
title = {SummAE: Zero-Shot Abstractive Text Summarization using Length-Agnostic Auto-Encoders},
author = {Peter J. Liu and Yu-An Chung and Jie Ren},
journal= {arXiv preprint arXiv:1910.00998},
year = {2019}
}
备注
first two authors contributed equally