中文

基于快速CoveringLSH的可扩展性与全召回

数据库 2016-08-22 v2 数据结构与算法 信息检索

摘要

局部敏感哈希(LSH)已成为高维空间中具有强性能保证的相似性搜索的主导算法技术。传统LSH方案的一个缺点是可能存在假阴性,即召回率小于100%。这限制了LSH在需要精确性能保证的场景中的适用性。基于近期消除假阴性的理论“CoveringLSH”构造,我们提出了一种用于汉明空间的快速且实用的覆盖LSH方案,称为 Fast CoveringLSH (fcLSH)。继承了CoveringLSH的设计优势,我们的方法避免假阴性并总是报告所有近邻。与CoveringLSH相比,我们将哈希函数计算时间的渐近复杂度从 O(dL)\mathcal{O}(dL) 改进到 O(d+LlogL)\mathcal{O}(d + L\log{L}),其中 dd 为数据维度,LL 为哈希表数量。我们在合成和真实世界数据集上的实验表明,fcLSH 在高达20的搜索半径内、高维汉明空间中的表现可与传统基于哈希的方法相媲美(且通常更优)。

关键词

引用

@article{arxiv.1602.02620,
  title  = {Scalability and Total Recall with Fast CoveringLSH},
  author = {Ninh Pham and Rasmus Pagh},
  journal= {arXiv preprint arXiv:1602.02620},
  year   = {2016}
}

备注

Short version appears in Proceedings of CIKM 2016