面向长文档摘要的高效注意力机制
计算与语言
2021-04-13 v2
摘要
大型Transformer的二次计算和内存复杂度限制了其在长文档摘要中的可扩展性。本文提出Hepos，一种具有头-wise位置步长的新型高效编码器-解码器注意力，可有效地从源中定位显著信息。我们进一步对现有高效自注意力进行了系统性研究。结合Hepos，我们能够处理比使用全注意力的现有模型多十倍的词元。为评估，我们提出了一个新的数据集GovReport，其文档和摘要显著更长。结果表明，我们的模型产生的ROUGE分数显著高于竞争对比模型，包括在PubMed上取得新的state-of-the-art结果。人工评估也表明我们的模型生成了更具信息量的摘要且忠实性错误更少。
引用
@article{arxiv.2104.02112,
title = {Efficient Attentions for Long Document Summarization},
author = {Luyang Huang and Shuyang Cao and Nikolaus Parulian and Heng Ji and Lu Wang},
journal= {arXiv preprint arXiv:2104.02112},
year = {2021}
}
备注
Accepted at NAACL 2021 as a long paper