面向抽取式文档摘要的注意力优化
计算与语言
2019-11-18 v1
摘要
注意力在基于序列到序列的文档摘要模型改进中起着关键作用。为获得一种强大的注意力以助重现最显著信息并避免重复，我们从局部与全局两方面增强原始注意力模型。我们提出一个注意力精炼单元并配合局部方差损失，以在每一解码步对注意力模型施加监督，以及一种全局方差损失从全局视角优化所有解码步的注意力分布。在CNN/Daily Mail数据集上的性能验证了我们所提方法的有效性。
引用
@article{arxiv.1910.11491,
title = {Attention Optimization for Abstractive Document Summarization},
author = {Min Gui and Junfeng Tian and Rui Wang and Zhenglu Yang},
journal= {arXiv preprint arXiv:1910.11491},
year = {2019}
}