高维空间中更快速的最大内积搜索

最大内积搜索（MIPS）是推荐系统等机器学习应用中的一项普遍任务。给定一个查询向量和$d$维空间中的$n$个原子向量，MIPS的目标是找到与查询向量内积最大的原子。现有的MIPS算法复杂度至少为$O(\sqrt{d})$，在高维设置下变得计算上难以承受。在这项工作中，我们提出了BanditMIPS，一种复杂度与$d$无关的新的随机化MIPS算法。BanditMIPS通过坐标子采样来估计每个原子的内积，并对更有希望的原子自适应地评估更多坐标。具体的自适应采样策略受多臂老虎机启发。我们提供了理论保证：BanditMIPS以高概率返回正确答案，同时将$d$上的复杂度从$O(\sqrt{d})$提升到$O(1)$。我们还在四个合成和真实世界数据集上进行了实验，证明BanditMIPS优于先前最先进的算法。例如，在Movie Lens数据集（$n$=4,000，$d$=6,000）中，BanditMIPS比次优算法快20$\times$，同时返回相同答案。BanditMIPS无需数据预处理，并包含一个从业者可用于权衡精度与运行时间的超参数。我们还提出了我们算法的一个变体，名为BanditMIPS-$\alpha$，它通过跨坐标非均匀采样实现进一步加速。最后，我们展示了如何将已知的预处理技术用于进一步加速BanditMIPS，并讨论了在匹配追踪和傅里叶分析中的应用。