模型增强的向量索引
信息检索
2023-11-10 v2
摘要
基于嵌入的检索方法构建向量索引，以搜索与查询表示最相似的文档表示。由于低延迟和良好的召回性能，它们被广泛用于文档检索。近期研究表明，深度检索方案提供更好的模型质量，但受限于不可接受的 serving 延迟以及无法支持文档更新。在本文中，我们旨在用端到端深度生成模型增强向量索引，利用深度检索模型的可微优势，同时保持理想的 serving 效率。我们提出模型增强的向量索引（MEVI），一种由双塔表示模型赋能的可微模型增强索引。MEVI利用残差量化（RQ）码本桥接序列到序列深度检索与基于嵌入的模型。为大幅降低推理时间，我们不再以长序列步骤解码唯一文档id，而是先以少量步骤生成候选文档的一些语义虚拟簇id，然后利用良好适配的嵌入向量进一步在候选虚拟簇中细粒度搜索相关文档。我们通过实证表明，我们的模型在常用学术基准MSMARCO Passage和Natural Questions上取得更好性能，且 serving 延迟与稠密检索方案相当。
引用
@article{arxiv.2309.13335,
title = {Model-enhanced Vector Index},
author = {Hailin Zhang and Yujing Wang and Qi Chen and Ruiheng Chang and Ting Zhang and Ziming Miao and Yingyan Hou and Yang Ding and Xupeng Miao and Haonan Wang and Bochen Pang and Yuefeng Zhan and Hao Sun and Weiwei Deng and Qi Zhang and Fan Yang and Xing Xie and Mao Yang and Bin Cui},
journal= {arXiv preprint arXiv:2309.13335},
year = {2023}
}