SAH:面向反向 k 最大内积搜索的偏移感知非对称哈希
信息检索
2023-06-30 v1 数据库
数据结构与算法
机器学习
摘要
本文研究一个新颖且具有挑战性的问题——反向 最大内积搜索(Reverse -Maximum Inner Product Search, RMIPS)。给定一个查询(物品)向量、一组物品向量和一组用户向量,RMIPS 问题的目标是找到这样一组用户向量:其与查询向量的内积是查询向量与所有物品向量内积中 个最大值之一。我们提出了首个亚二次时间算法,即偏移感知非对称哈希(Shifting-aware Asymmetric Hashing, SAH),以解决 RMIPS 问题。为加速物品向量上的最大内积搜索(Maximum Inner Product Search, MIPS),我们设计了一种偏移不变非对称变换,并提出了一种新颖的亚线性时间偏移感知非对称局部敏感哈希(Shifting-Aware Asymmetric Locality Sensitive Hashing, SA-ALSH)方案。此外,我们基于 Cone-Tree 设计了一种新的分块策略,以有效剪枝(成批的)用户向量。我们证明 SAH 在解决 RMIPS 问题时具有理论保证。在五个真实数据集上的实验结果表明,SAH 比当前最优的 RMIPS 方法快 48,同时 F1 分数超过 90%。代码见 \url{https://github.com/HuangQiang/SAH}。
引用
@article{arxiv.2211.12751,
title = {SAH: Shifting-aware Asymmetric Hashing for Reverse $k$-Maximum Inner Product Search},
author = {Qiang Huang and Yanhao Wang and Anthony K. H. Tung},
journal= {arXiv preprint arXiv:2211.12751},
year = {2023}
}
备注
Accepted by AAAI 2023