用于抽象式句子摘要的对比注意力机制
计算与语言
2019-10-31 v2 人工智能
摘要
我们提出一种对比注意力机制来扩展序列到序列框架，以用于抽象式句子摘要任务，该任务旨在生成给定源句子的简短摘要。所提出的对比注意力机制包含两类注意力：一类是关注源句子相关部分的常规注意力，另一类是关注源句子不相关或较不相关部分的对手注意力。两种注意力以相反方式训练，从而通过一种新颖的 softmax 与 softmin 功能鼓励常规注意力的贡献并抑制对手注意力的贡献。在基准数据集上的实验表明，与常规注意力机制相比，所提出的对比注意力机制更聚焦于摘要的相关部分，并大幅提升了抽象式句子摘要任务上的最优（SOTA）性能。我们在 https://github.com/travel-go/Abstractive-Text-Summarization 发布了代码。
引用
@article{arxiv.1910.13114,
title = {Contrastive Attention Mechanism for Abstractive Sentence Summarization},
author = {Xiangyu Duan and Hoongfei Yu and Mingming Yin and Min Zhang and Weihua Luo and Yue Zhang},
journal= {arXiv preprint arXiv:1910.13114},
year = {2019}
}
备注
accepted by EMNLP2019