基于层次注意力文本编码器与 SciBERT 重排序的局部引用推荐
信息检索
2022-03-18 v3 计算与语言
机器学习
摘要
局部引用推荐的目标是从局部引用上下文（可选地从全局上下文）中推荐一篇缺失的参考文献。为了在大规模论文数据库背景下平衡引用推荐的速度与精度，一种可行的方法是首先使用高效排序方法预取有限数量的相关文档，然后使用更复杂的模型进行细粒度重排序。在这方面，BM25 已被发现是一种难以击败的预取方法，这就是为什么近期工作主要集中在重排序步骤。即便如此，我们探索了利用层次注意力网络构建的文本嵌入进行最近邻搜索的预取。当与在局部引用推荐任务上微调的 SciBERT 重排序器结合时，我们的层次注意力编码器（HAtten）在给定待重排序候选数量下实现了高预取召回率。因此，我们的重排序器需要更少的预取候选来重排序，却仍在 ACL-200、FullTextPeerRead、RefSeer 和 arXiv 等多个局部引用推荐数据集上取得了最先进的性能。
引用
@article{arxiv.2112.01206,
title = {Local Citation Recommendation with Hierarchical-Attention Text Encoder and SciBERT-based Reranking},
author = {Nianlong Gu and Yingqiang Gao and Richard H. R. Hahnloser},
journal= {arXiv preprint arXiv:2112.01206},
year = {2022}
}
备注
Accepted by ECIR 2022: https://ecir2022.org/program/accepted-papers/