中文

注意力之上的指针:一种使用混合指针生成网络的改进孟加拉语文本摘要方法

计算与语言 2021-12-30 v2 机器学习

摘要

尽管神经序列到序列模型在抽象式文本摘要方面取得了成功,但其仍存在若干缺陷,例如复述不准确的事实细节以及倾向于自我重复。我们提出一种混合指针生成网络,以解决事实细节复现不充分与短语重复的问题。我们在基于注意力的序列到序列模型上扩充了混合指针生成网络,该网络可生成词表外(Out-of-Vocabulary)词并提升复现真实细节的准确性,同时引入覆盖机制以抑制重复。其生成尺寸合理的输出文本,保留输入文章的概念完整性与事实信息。在评估方面,我们主要采用了被广泛采用的公开孟加拉语数据集“BANSData”。此外,我们构建了一个大规模数据集“BANS-133”,包含 13.3 万篇孟加拉语新闻文章及其对应人工生成的摘要。使用所提模型实验,我们在“BANSData”数据集上分别取得 ROUGE-1 与 ROUGE-2 分数 0.66、0.41,在“BANS-133k”数据集上分别为 0.67、0.42。我们证明了所提系统超越了先前最先进的孟加拉语抽象式摘要技术,并在更大数据集上表现稳定。“BANS-133”数据集与代码库将公开供研究使用。

关键词

引用

@article{arxiv.2111.10269,
  title  = {Pointer over Attention: An Improved Bangla Text Summarization Approach Using Hybrid Pointer Generator Network},
  author = {Nobel Dhar and Gaurob Saha and Prithwiraj Bhattacharjee and Avi Mallick and Md Saiful Islam},
  journal= {arXiv preprint arXiv:2111.10269},
  year   = {2021}
}

备注

{copyright} 2021 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works