面向高精度最近邻搜索的导出码本
计算机视觉与模式识别
2019-05-17 v1 人工智能
数据库
摘要
高维最近邻(NN)搜索是多媒体搜索系统的核心。乘积量化(PQ)是一种广泛使用且性能高、可扩展性好的NN搜索技术。PQ通过量化器的组合将高维向量压缩为紧凑码。因此，大型数据库可完整存于RAM中，从而实现对NN查询的快速响应。几乎所有情况下，PQ都使用8位量化器，因其响应时间短。本文主张使用16位量化器。与8位量化器相比，16位量化器提升了精度，但响应时间增加了3至10倍。我们提出一种新方法，使16位量化器在提供精度提升的同时，达到与8位量化器相同的响应时间。我们的方法基于两个关键思想：(i) 构建可实现快速近似距离估计的导出码本；(ii) 两遍NN搜索流程，先利用导出码本构建候选集，再用16位量化器进行精炼。在10亿个SIFT向量上，结合倒排索引，我们的方法在5.2 ms内达到0.85的Recall@100。相比之下，单独使用16位量化器在39 ms内达到0.85的Recall@100，而8位量化器在3.8 ms内达到0.82的Recall@100。
引用
@article{arxiv.1905.06900,
title = {Derived Codebooks for High-Accuracy Nearest Neighbor Search},
author = {Fabien André and Anne-Marie Kermarrec and Nicolas Le Scouarnec},
journal= {arXiv preprint arXiv:1905.06900},
year = {2019}
}