稀疏与稠密相结合:一种增强科学文献检索的混合方法
信息检索
2024-01-09 v1
摘要
传统信息检索基于文档和查询的稀疏词袋向量表示。较新的深度学习方法则使用基于Transformer大型语言模型学习的稠密嵌入。我们展示,在囊性纤维化医学领域科学文献检索的经典基准上,这两种模型的表现大致相当。值得注意的是,来自当前最优SPECTER2模型的稠密向量并未显著提升性能。然而,我们提出的一种结合这些方法的混合模型取得了显著更优的结果,凸显了在专业科学文献领域的信息检索中,融合经典与当代深度学习技术的优势。
引用
@article{arxiv.2401.04055,
title = {Sparse Meets Dense: A Hybrid Approach to Enhance Scientific Document Retrieval},
author = {Priyanka Mandikal and Raymond Mooney},
journal= {arXiv preprint arXiv:2401.04055},
year = {2024}
}
备注
Accepted at SDU-AAAI 2024