用于抽象摘要的深度强化自注意力掩码 (DR.SAS)
计算与语言
2020-01-03 v1
摘要
我们提出了一种新颖的架构方案，基于 CNN/DM 数据集解决抽象摘要问题，该方案将强化学习 (RL) 与 UniLM（一种预训练的深度学习模型）相融合，以解决多种自然语言任务。我们测试了在 Transformer 中学习细粒度注意力的极限，以提升摘要质量。UniLM 以全局方式对全部词元空间施加注意力。我们提出 DR.SAS，其应用 Actor-Critic (AC) 算法来学习词元上的动态自注意力分布，以减少冗余并生成忠实且连贯的摘要，从而提升摘要质量。在执行超参数调优后，我们相比基线取得了更好的 ROUGE 结果。由于针对 ROUGE 奖励进行了优化，我们的模型往往更具抽取式/事实性，但在细节上仍保持连贯。我们给出了带有示例的详细错误分析，说明了模型的优势与局限。我们的代码库将在我们的 GitHub 上公开。
引用
@article{arxiv.2001.00009,
title = {Deep Reinforced Self-Attention Masks for Abstractive Summarization (DR.SAS)},
author = {Ankit Chadha and Mohamed Masoud},
journal= {arXiv preprint arXiv:2001.00009},
year = {2020}
}