快速相似度草图

我们考虑$\textit{Similarity Sketching}$问题：给定全集$[u] = \{0,\ldots, u-1\}$，我们需要一个随机函数$S$映射子集$A\subseteq [u]$到大小为$t$的向量$S(A)$中，从而使得集合$A$和$B$之间的Jaccard相似度$J(A,B) = |A\cap B|/|A\cup B|$得以保持。更精确地，定义$X_i = [S(A)[i] = S(B)[i]]$和$X = \sum_{i\in [t]} X_i$。我们希望$E[X_i]=J(A,B)$，并且希望$X$在$E[X] = t \cdot J(A,B)$附近强集中（即Chernoff型界）。这是一个基础问题，已通过经典的MinHash算法在数据挖掘、大规模分类、计算机视觉、相似度搜索等领域找到了大量应用。向量$S(A)$也称为$\textit{sketches}$。强集中性至关重要，因为经常我们需要对多个集合$B_1,\ldots,B_n$进行草图绘制，以便后续针对查询集$A$能够找到（其中一个）最相似的$B_i$。此时关键的是，由于草图中的误差，没有任何$B_i$看起来与$A$相似得多。开创性的$t\times\textit{MinHash}$算法使用$t$个随机哈希函数$h_1,\ldots, h_t$，并将$\left ( \min_{a\in A} h_1(A),\ldots, \min_{a\in A} h_t(A) \right )$存储为$A$的草图。然而，MinHash的主要缺点是其$O(t\cdot |A|)$的运行时间，并且寻找具有类似性质和更快运行时间的草图已成为若干论文的主题。(continued...)