基于快速CoveringLSH的可扩展性与全召回
数据库
2016-08-22 v2 数据结构与算法
信息检索
摘要
局部敏感哈希(LSH)已成为高维空间中具有强性能保证的相似性搜索的主导算法技术。传统LSH方案的一个缺点是可能存在假阴性,即召回率小于100%。这限制了LSH在需要精确性能保证的场景中的适用性。基于近期消除假阴性的理论“CoveringLSH”构造,我们提出了一种用于汉明空间的快速且实用的覆盖LSH方案,称为 Fast CoveringLSH (fcLSH)。继承了CoveringLSH的设计优势,我们的方法避免假阴性并总是报告所有近邻。与CoveringLSH相比,我们将哈希函数计算时间的渐近复杂度从 改进到 ,其中 为数据维度, 为哈希表数量。我们在合成和真实世界数据集上的实验表明,fcLSH 在高达20的搜索半径内、高维汉明空间中的表现可与传统基于哈希的方法相媲美(且通常更优)。
引用
@article{arxiv.1602.02620,
title = {Scalability and Total Recall with Fast CoveringLSH},
author = {Ninh Pham and Rasmus Pagh},
journal= {arXiv preprint arXiv:1602.02620},
year = {2016}
}
备注
Short version appears in Proceedings of CIKM 2016