用于可控长度抽象式摘要的可解释多头注意力
计算与语言
2020-12-01 v2
摘要
可控长度的抽象式摘要在自然语言处理中是一项具有挑战性的任务。对于可用训练数据有限或摘要长度事先未知的领域和场景，该任务更具挑战性。同时，在信任机器生成的摘要方面，以人类可理解的术语解释摘要是如何构建的可能至关重要。我们提出多级摘要器（MLS），一种用于在可控长度下构建文本文档抽象式摘要的有监督方法。我们方法的关键赋能部件是一种可解释的多头注意力机制，其使用一组时间步独立的语义核计算输入文档上的注意力分布。每个核优化一种人类可解释的句法或语义属性。在英语语言的两个低资源数据集上的详尽实验表明，MLS 在 METEOR 分数上比强基线高出至多 14.70%。对摘要的人工评估也表明，它们在各种长度预算下捕捉了文档的关键概念。
引用
@article{arxiv.2002.07845,
title = {Interpretable Multi-Headed Attention for Abstractive Summarization at Controllable Lengths},
author = {Ritesh Sarkhel and Moniba Keymanesh and Arnab Nandi and Srinivasan Parthasarathy},
journal= {arXiv preprint arXiv:2002.07845},
year = {2020}
}
备注
9 pages, 5 figures