基于指针生成网络与 SciBERT 嵌入的研究论文亮点生成
计算与语言
2023-09-19 v3 人工智能
机器学习
摘要
如今许多研究文章都以研究亮点作为前言，以总结论文的主要发现。亮点不仅帮助研究人员准确快速地识别论文的贡献，也通过搜索引擎提升了文章的可发现性。我们旨在给定研究论文的某些片段自动构建研究亮点。我们使用带有覆盖机制的指针生成网络，并在输入处设置上下文嵌入层将输入词元编码为 SciBERT 嵌入。我们在基准数据集 CSPubSum 上测试了我们的模型，并提出了 MixSub，一个用于自动研究亮点生成的新多学科论文语料库。对于 CSPubSum 和 MixSub，我们都观察到所提模型相比相关变体和文献中提出的其他模型取得了最佳性能。在 CSPubSum 数据集上，当输入仅为论文摘要而非其他片段时，我们的模型取得最佳性能，其 ROUGE-1、ROUGE-2 和 ROUGE-L F1 分数分别为 38.26、14.26 和 35.51，METEOR 分数为 32.62，BERTScore F1 为 86.65，优于所有其他基线。在新的 MixSub 数据集上，当仅以摘要为输入时，我们提出的模型（在整个训练语料库上训练且不区分学科类别）取得 ROUGE-1、ROUGE-2 和 ROUGE-L F1 分数分别为 31.78、9.76 和 29.3，METEOR 分数为 24.00，BERTScore F1 为 85.25。
引用
@article{arxiv.2302.07729,
title = {Generation of Highlights from Research Papers Using Pointer-Generator Networks and SciBERT Embeddings},
author = {Tohida Rehman and Debarshi Kumar Sanyal and Samiran Chattopadhyay and Plaban Kumar Bhowmick and Partha Pratim Das},
journal= {arXiv preprint arXiv:2302.07729},
year = {2023}
}
备注
19 Pages, 7 Figures, 8 Tables