SilkMoth：一种基于最大匹配约束寻找相关集合的高效方法

确定两个集合是否相关——即它们是否具有相似的值或一个集合包含另一个——是一个重要问题，在数据清洗、数据集成和信息检索中有许多应用。提出的一种特别流行的度量是：将两个集合的元素视为二部图的顶点，并计算元素间最大匹配配对的得分，以此衡量两个集合的相关性。与需要元素间精确匹配的其他度量相比，该度量使用相似度函数比较两个集合间的元素，使其对元素间的微小差异具有鲁棒性，并对现实世界中脏数据更有用。不幸的是，该度量计算代价高昂，每次集合间比较需要O(n^3)时间，其中n为集合中元素个数。因此，对于以暴力方式搜索所有相关集合配对的应用，运行时间变得大得不可接受。为应对这一挑战，我们开发了SilkMoth，一个能够在集合集合中快速发现相关集合对的系统。在内部，SilkMoth为每个集合创建一个签名，其性质是任何相关的其他集合必须匹配该签名。SilkMoth随后使用这些签名来剪枝搜索空间，使得仅匹配签名的集合作为候选保留。最后，SilkMoth对剩余候选应用最大匹配度量以验证其中哪些确实是相关集合。因此，本文的一个贡献是刻画了能够实现此性质的签名空间。我们展示了在该空间中选择最优签名是NP完全的，并且基于对该空间刻画的见解，我们提出了两种新颖的过滤器，有助于在验证前进一步剪枝候选。