轻量混合检索器的效率与泛化研究
信息检索
2023-05-24 v2 计算与语言
摘要
混合检索器可兼顾稀疏与稠密检索器之长。既往混合检索器依赖建索引开销大的稠密检索器。本工作中，我们研究“是否可能在不牺牲性能的前提下降低混合检索器的索引内存”？受此问题驱动，我们采用一种索引高效的稠密检索器（即DrBoost）并引入LITE检索器，进一步降低DrBoost的内存。LITE在对比学习与来自DrBoost的知识蒸馏上联合训练。随后，我们将稀疏检索器BM25与LITE或DrBoost分别结合，构成轻量混合检索器。我们的Hybrid-LITE检索器节省13倍内存，同时维持BM25与DPR混合检索器98.0%的性能。此外，我们研究了轻量混合检索器在域外数据集及一组对抗攻击数据集上的泛化能力。实验表明轻量混合检索器优于单独的稀疏与稠密检索器。不过，我们的分析显示检索器的鲁棒性仍有很大提升空间，指明了新的研究方向。
引用
@article{arxiv.2210.01371,
title = {A Study on the Efficiency and Generalization of Light Hybrid Retrievers},
author = {Man Luo and Shashank Jain and Anchit Gupta and Arash Einolghozati and Barlas Oguz and Debojeet Chatterjee and Xilun Chen and Chitta Baral and Peyman Heidari},
journal= {arXiv preprint arXiv:2210.01371},
year = {2023}
}
备注
accepted to ACL23