结论而非重复:基于行列式点过程多样化注意力的综合抽象式摘要
计算与语言
2020-01-03 v2
摘要
近来,为机器翻译设计的各种 Seq2Seq 学习模型被应用于抽象式摘要任务。尽管这些模型提供了较高的 ROUGE 分数,但由于其退化的注意力分布,它们难以生成具有高抽象程度的综合性摘要。我们引入使用行列式点过程方法(Micro DPPs 与 Macro DPPs)的多样化卷积 Seq2Seq 模型(DivCNN Seq2Seq),以产生同时考虑质量与多样性的注意力分布。在不破坏端到端架构的情况下,DivCNN Seq2Seq 相比原始模型与强基线实现了更高程度的综合性。所有可复现的代码与数据集均已在线公开。
引用
@article{arxiv.1909.10852,
title = {In Conclusion Not Repetition: Comprehensive Abstractive Summarization With Diversified Attention Based On Determinantal Point Processes},
author = {Lei Li and Wei Liu and Marina Litvak and Natalia Vanetik and Zuying Huang},
journal= {arXiv preprint arXiv:1909.10852},
year = {2020}
}
备注
11 pages, 7 figures, 4 tables