DYLE：面向抽象式长输入摘要的动态隐变量抽取方法
计算与语言
2022-04-26 v2
摘要
基于Transformer的模型在短输入摘要上已取得最优性能。然而，它们在更长文本的摘要上仍面临困难。本文提出DYLE，一种用于抽象式长输入摘要的新型动态隐变量抽取方法。DYLE联合训练抽取器与生成器，并将抽取的文本片段视为隐变量，从而在解码时允许动态的片段级注意力权重。为提供充分监督，我们提出了简单而有效的预言抽取的启发式方法以及一致性损失项，其鼓励抽取器逼近生成器预测的平均动态权重。我们在不同的长文档与长对话摘要任务上评估了我们的方法：GovReport、QMSum和arXiv。实验结果表明，DYLE在GovReport和QMSum上优于所有现有方法，ROUGE提升高达6.1，同时在arXiv上取得强劲结果。进一步分析表明，所提出的动态权重为我们的生成过程提供了可解释性。
引用
@article{arxiv.2110.08168,
title = {DYLE: Dynamic Latent Extraction for Abstractive Long-Input Summarization},
author = {Ziming Mao and Chen Henry Wu and Ansong Ni and Yusen Zhang and Rui Zhang and Tao Yu and Budhaditya Deb and Chenguang Zhu and Ahmed H. Awadallah and Dragomir Radev},
journal= {arXiv preprint arXiv:2110.08168},
year = {2022}
}
备注
ACL 2022