稠密和稀疏检索器的实用建议：HNSW、Flat 还是倒排索引？
信息检索
2024-09-11 v1
摘要
今天从事稠密检索的实践者面临诸多选择之困。除了选择嵌入模型外，另一个重要选择是实际的最近邻向量搜索实现。虽然最佳实践建议使用 HNSW 索引，但 flat 向量索引配合暴力搜索代表另一种可行选项，特别适用于较小的语料库和快速原型开发。在本文中，我们使用开源 Lucene 搜索库在 BEIR 数据集上进行实验，阐明了 HNSW 和 flat 索引（包括量化变体）之间从索引时间、查询评估性能和检索质量三个方面的权衡。通过额外的稠密检索与稀疏检索比较，我们的结果为当今搜索实践者提供了关于稠密和稀疏检索器设计空间的指导。据我们所知，我们是首次提供以经验实验为依据的实用建议。
引用
@article{arxiv.2409.06464,
title = {Operational Advice for Dense and Sparse Retrievers: HNSW, Flat, or Inverted Indexes?},
author = {Jimmy Lin},
journal= {arXiv preprint arXiv:2409.06464},
year = {2024}
}