深度检索模型与基于乘积量化的嵌入索引的联合学习
信息检索
2021-05-31 v3
摘要
支持快速近似最近邻（ANN）搜索的嵌入索引，是前沿深度检索系统不可或缺的组件。传统方法常将嵌入学习与索引构建两步分离，导致额外的索引时间并降低检索精度。本文提出一种称为 Poeem 的新方法，即与深度检索模型联合训练的乘积量化嵌入索引，通过利用梯度直通估计器、热启动策略、最优空间分解与 Givens 旋转等若干技术，将两步统一于端到端训练中。大量实验结果表明，所提方法不仅显著提升检索精度，还将索引时间降至近乎为零。我们已开源该方法以便于对比与复现。
引用
@article{arxiv.2105.03933,
title = {Joint Learning of Deep Retrieval Model and Product Quantization based Embedding Index},
author = {Han Zhang and Hongwei Shen and Yiming Qiu and Yunjiang Jiang and Songlin Wang and Sulong Xu and Yun Xiao and Bo Long and Wen-Yun Yang},
journal= {arXiv preprint arXiv:2105.03933},
year = {2021}
}
备注
4 pages, 4 figures; accepted by SIGIR2021