I/O 高效的相似性连接算法

我们提出了一种基于局部敏感哈希（LSH）的 I/O 高效相似性连接算法。与通常建议的过滤方法相比，我们的方法在数据规模上具有可证明的次二次方依赖关系。此外，与已知的基于 LSH 的算法在外存上的直接实现相比，我们的方法能够显著利用可用的内存：经典算法的时间复杂度包含因子 $N^\rho$，其中 $\rho$ 是所用 LSH 的参数，而我们的算法的 I/O 复杂度仅包含因子 $(N/M)^\rho$，其中 $N$ 是数据规模，$M$ 是内存大小。我们的算法是随机的，并以高概率输出正确结果。它是一个简单、递归、缓存无关的过程，我们相信它在其他计算环境（如并行计算）中也将有用。