基于局部敏感哈希的相似性连接大小估计
数据库
2011-04-19 v1 数据结构与算法
摘要
相似性连接是具有广泛应用的重要操作。本文研究向量相似性连接大小估计（VSJ）问题。它是先前研究的集合相似性连接大小估计（SSJ）问题的推广，能够处理诸如TF-IDF向量等更有趣的情况。相似性连接大小估计的关键挑战之一是连接大小会随输入相似度阈值的不同而发生剧烈变化。我们提出了一种基于抽样的算法，该算法使用局部敏感哈希（LSH）方案。所提出的LSH-SS算法利用LSH索引，即使在高阈值下也能实现有效抽样。我们将所提出的技术与随机抽样以及针对SSJ的最先进技术（经调整适用于VSJ）进行了比较，并使用真实世界数据集证明LSH-SS在高和低相似度阈值下均能提供更准确的估计，且方差更小。
引用
@article{arxiv.1104.3212,
title = {Similarity Join Size Estimation using Locality Sensitive Hashing},
author = {Hongrae Lee and Raymond T. Ng and Kyuseok Shim},
journal= {arXiv preprint arXiv:1104.3212},
year = {2011}
}
备注
VLDB2011