中文

是否建立索引:优化精确最大内积搜索

信息检索 2019-03-18 v3 数据库 数据结构与算法 性能

摘要

精确最大内积搜索 (MIPS) 是一项重要任务,广泛应用于推荐系统和高维相似性搜索。解决精确 MIPS 的暴力方法计算成本高昂,从而推动了针对该任务的 novel 索引和剪枝技术的最新发展。在本文中,我们证明了一种硬件高效的暴力方法——分块矩阵乘法 (BMM),在某些(但并非所有)输入上,其性能可以比最先进的 MIPS 求解器高出一个数量级以上。在本文中,我们还提出了一种新的 MIPS 解决方案 MAXIMUS,它利用了硬件效率和搜索空间的剪枝。与 BMM 一样,MAXIMUS 比其他求解器快达一个数量级,但同样仅对某些输入有效。由于没有任何单一解决方案能在所有输入上提供最佳运行时性能,我们引入了一种新的数据相关优化器 OPTIMUS,它以极小的开销在线为给定输入选择最佳的 MIPS 求解器。在广泛研究的 MIPS 数据集上,OPTIMUS 和 MAXIMUS 的平均性能比最先进的 MIPS 求解器高出 3.2 倍,最高可达 10.9 倍。

关键词

引用

@article{arxiv.1706.01449,
  title  = {To Index or Not to Index: Optimizing Exact Maximum Inner Product Search},
  author = {Firas Abuzaid and Geet Sethi and Peter Bailis and Matei Zaharia},
  journal= {arXiv preprint arXiv:1706.01449},
  year   = {2019}
}

备注

12 pages, 8 figures, 2 tables