贝叶斯局部敏感哈希用于快速相似性搜索
数据库
2012-03-29 v3 人工智能
数据结构与算法
信息检索
摘要
给定一个对象集合和相关的相似性度量，全对相似性搜索问题要求找出所有相似度大于用户指定阈值的对象对。基于局部敏感哈希(LSH)的方法已成为解决该问题的非常流行的方法。然而，大多数此类方法仅将LSH用于相似性搜索的第一阶段——即用于候选生成的高效索引。在本文中，我们提出了BayesLSH，一种用于相似性搜索后续阶段——使用LSH进行候选剪枝和相似性估计——的基于贝叶斯原理的算法。还提出了一种更简单的变体BayesLSH-Lite，它精确计算相似度。BayesLSH能够快速剪除绝大多数假阳性候选对，从而比基线方法显著加速。对于BayesLSH，我们还提供了输出质量的概率保证，包括准确率和召回率。最后，BayesLSH输出的质量易于调整，并且不需要像标准方法那样手动设置用于相似性估计的哈希数量。对于两种最先进的候选生成算法AllPairs和LSH，BayesLSH实现了显著的加速，在多种数据集上通常达到2倍到20倍。
引用
@article{arxiv.1110.1328,
title = {Bayesian Locality Sensitive Hashing for Fast Similarity Search},
author = {Venu Satuluri and Srinivasan Parthasarathy},
journal= {arXiv preprint arXiv:1110.1328},
year = {2012}
}
备注
13 pages, 5 Tables, 21 figures. Added acknowledgments in v3. A slightly shorter version of this paper without the appendix has been published in the PVLDB journal, 5(5):430-441, 2012. http://vldb.org/pvldb/vol5/p430_venusatuluri_vldb2012.pdf