一种结合BERT与图卷积网络的上下文感知引文推荐模型
计算与语言
2019-03-18 v1 信息检索
机器学习
摘要
随着发表的科学论文数量急剧增长，在撰写科学论文时检索参考文献是一个耗时的过程。一种能够在句子中恰当位置添加引用文献的技术将大有裨益。在此视角下，上下文感知引文推荐已被研究约二十年。许多研究者利用了称为上下文句子的文本数据（其环绕引文标记）以及目标论文的元数据来寻找恰当的被引研究。然而，缺乏组织良好的基准数据集以及没有能够取得高性能的模型，使得该研究困难重重。在本文中，我们提出了一种基于深度学习的模型以及用于上下文感知论文引文推荐的组织良好的数据集。我们的模型包含一个文档编码器和一个上下文编码器，其使用了图卷积网络(GCN)层以及来自Transformer的双向编码器表示(BERT)——一种预训练的文本数据模型。通过修改相关的PeerRead数据集，我们提出了一个名为FullTextPeerRead的新数据集，包含指向被引文献的上下文句子和论文元数据。据我们所知，该数据集是首个用于上下文感知论文推荐的组织良好的数据集。结果表明，所提模型结合所提数据集能够取得最先进的性能，并在平均精度均值(MAP)和recall@k上实现超过28%的提升。
引用
@article{arxiv.1903.06464,
title = {A Context-Aware Citation Recommendation Model with BERT and Graph Convolutional Networks},
author = {Chanwoo Jeong and Sion Jang and Hyuna Shin and Eunjeong Park and Sungchul Choi},
journal= {arXiv preprint arXiv:1903.06464},
year = {2019}
}
备注
7 pages, 5 figures