联合优化查询编码器与乘积量化以提升检索性能
信息检索
2021-08-24 v2
摘要
近来，信息检索领域见证了稠密检索（DR）的快速进展，其通过基于嵌入的搜索执行第一阶段检索。尽管排序性能令人印象深刻，先前研究通常采用暴力搜索来获取候选，由于其巨大的内存占用和时间开销，在实际 Web 搜索场景中难以承受。为克服这些问题，许多实际基于嵌入的检索应用采用了向量压缩方法。其中最流行的方法之一是乘积量化（PQ）。然而，尽管包括 PQ 在内的现有向量压缩方法有助于提升 DR 的效率，但由于编码与压缩的分离，它们导致检索性能严重衰减。为解决该问题，我们提出 JPQ，即查询编码与乘积量化的联合优化（Joint optimization of query encoding and Product Quantization）。它基于三种优化策略——排序导向损失、PQ 质心优化和端到端负采样——以端到端方式联合训练查询编码器与 PQ 索引。我们在两个公开可用的检索基准上评估 JPQ。实验结果表明 JPQ 显著优于流行的向量压缩方法。与使用暴力搜索的先前 DR 模型相比，JPQ 在索引大小压缩 30 倍的情况下几乎匹配最佳检索性能。压缩索引进一步在查询延迟上带来 CPU 10 倍和 GPU 2 倍的加速。
引用
@article{arxiv.2108.00644,
title = {Jointly Optimizing Query Encoder and Product Quantization to Improve Retrieval Performance},
author = {Jingtao Zhan and Jiaxin Mao and Yiqun Liu and Jiafeng Guo and Min Zhang and Shaoping Ma},
journal= {arXiv preprint arXiv:2108.00644},
year = {2021}
}
备注
Accepted by CIKM 2021 as a full paper