基于OpenAI嵌入的向量检索:Lucene足矣
信息检索
2023-08-30 v1
摘要
我们提供了一个可复现的端到端演示,使用Lucene在流行的MS MARCO段落排序测试集上基于OpenAI嵌入进行向量检索。我们工作的主要目标是挑战那种认为需要专用向量存储才能利用深度神经网络在检索中最新进展的主流说法。恰恰相反,我们展示了Lucene中的分层可导航小世界网络(HNSW)索引足以在标准双编码器架构中提供向量检索能力。这表明,从简单的成本效益分析来看,似乎没有令人信服的理由在现代检索“AI栈”中引入专用向量存储,因为此类应用已在现有广泛部署的基础设施上获得了大量投入。
引用
@article{arxiv.2308.14963,
title = {Vector Search with OpenAI Embeddings: Lucene Is All You Need},
author = {Jimmy Lin and Ronak Pradeep and Tommaso Teofili and Jasper Xian},
journal= {arXiv preprint arXiv:2308.14963},
year = {2023}
}