中文

稀疏与稠密相结合:一种增强科学文献检索的混合方法

信息检索 2024-01-09 v1

摘要

传统信息检索基于文档和查询的稀疏词袋向量表示。较新的深度学习方法则使用基于Transformer大型语言模型学习的稠密嵌入。我们展示,在囊性纤维化医学领域科学文献检索的经典基准上,这两种模型的表现大致相当。值得注意的是,来自当前最优SPECTER2模型的稠密向量并未显著提升性能。然而,我们提出的一种结合这些方法的混合模型取得了显著更优的结果,凸显了在专业科学文献领域的信息检索中,融合经典与当代深度学习技术的优势。

关键词

引用

@article{arxiv.2401.04055,
  title  = {Sparse Meets Dense: A Hybrid Approach to Enhance Scientific Document Retrieval},
  author = {Priyanka Mandikal and Raymond Mooney},
  journal= {arXiv preprint arXiv:2401.04055},
  year   = {2024}
}

备注

Accepted at SDU-AAAI 2024