中文

用于次线性时间最大内积搜索 (MIPS) 的非对称 LSH (ALSH)

机器学习 2014-05-23 v1 数据结构与算法 信息检索 机器学习

摘要

我们提出了首个可证明的用于近似\emph{最大内积搜索} (MIPS) 的次线性时间算法。我们的方案也是首个以(未归一化的)内积作为底层相似度度量进行搜索的哈希算法。为 MIPS 寻找哈希方案曾被视为难题。我们正式证明了现有的局部敏感哈希 (LSH) 框架不足以解决 MIPS 问题,随后我们扩展了现有的 LSH 框架以允许非对称哈希方案。我们的方案基于一个有趣的数学现象:经过独立的非对称变换后,内积可以转化为近似最近邻搜索问题。这一关键观察使得针对 MIPS 的高效次线性哈希方案成为可能。在扩展的非对称 LSH (ALSH) 框架中,我们为 MIPS 提供了一种可证明的快速哈希方案的显式构造。所提出的构造和扩展的 LSH 框架可能具有独立的理论意义。我们提出的算法简单且易于实现。我们在 Netflix 和 Movielens 数据集上的物品推荐协同过滤任务中,对该方法检索内积的性能进行了评估。

关键词

引用

@article{arxiv.1405.5869,
  title  = {Asymmetric LSH (ALSH) for Sublinear Time Maximum Inner Product Search (MIPS)},
  author = {Anshumali Shrivastava and Ping Li},
  journal= {arXiv preprint arXiv:1405.5869},
  year   = {2014}
}