理解并改进基于邻近图的Maximum Inner Product Search
信息检索
2019-12-10 v2 数据结构与算法
机器学习
摘要
内积可导航小世界图（ip-NSW）代表了近似最大内积搜索（MIPS）的最先进方法，相比最快的基线可实现数量级的加速。然而，迄今为止仍不清楚其卓越性能从何而来。在本文中，我们展示了 MIPS 问题中存在强烈的范数偏置，即大范数条目极可能成为 MIPS 的结果。接着我们将 ip-NSW 的良好性能解释为匹配了 MIPS 问题的范数偏置——大范数条目在 ip-NSW 邻近图中具有大的入度，图上的游走将大部分计算花在这些条目上，从而有效避免了对小范数条目不必要的计算。此外，我们提出了 ip-NSW+ 算法，通过引入额外的角度邻近图来改进 ip-NSW。搜索先在角度图上找到查询的角度近邻，然后将这些角度近邻的 MIPS 近邻用于初始化在内积邻近图上搜索的候选池。实验结果表明，ip-NSW+ 持续且显著优于 ip-NSW，并在不同数据分布下提供更鲁棒的性能。
引用
@article{arxiv.1909.13459,
title = {Understanding and Improving Proximity Graph based Maximum Inner Product Search},
author = {Jie Liu and Xiao Yan and Xinyan Dai and Zhirong Li and James Cheng and Ming-Chang Yang},
journal= {arXiv preprint arXiv:1909.13459},
year = {2019}
}
备注
8 pages, 8 figures