SciBERTSUM：面向科学文献的抽取式摘要方法
计算与语言
2022-01-24 v1
摘要
摘要研究多集中于新闻文章的摘要。CNN-DailyMail 中的新闻文章是相对较短的文档，平均每篇约 30 句。我们提出 SciBERTSUM，一种专为长文档（如超过 500 句的科学论文）摘要设计的摘要框架。SciBERTSUM 通过以下方式将 BERTSUM 扩展至长文档：1) 添加章节嵌入层以在句子向量中纳入章节信息；2) 应用稀疏注意力机制，其中每个句子在局部关注邻近句子，仅少量句子在全局关注所有其他句子。我们使用科学论文作者制作的幻灯片作为参考摘要，因其包含论文的技术细节。结果表明我们的模型在 ROUGE 分数上具有优越性。
引用
@article{arxiv.2201.08495,
title = {SciBERTSUM: Extractive Summarization for Scientific Documents},
author = {Athar Sefid and C Lee Giles},
journal= {arXiv preprint arXiv:2201.08495},
year = {2022}
}