V-SMART-Join：面向多重集和向量全对相似连接的可扩展MapReduce框架
数据库
2012-04-30 v1
摘要
本文提出了V-SMART-Join，一个基于MapReduce的可扩展框架，用于发现所有相似实体对。V-SMART-Join框架适用于集合、多重集和向量。V-SMART-Join的动机是观察到互联网流量底层分布中的偏斜，它是一个两阶段算法家族，其中第一阶段计算并连接部分结果，第二阶段精确计算所有候选对的相似度。V-SMART-Join算法在实体数量及其基数方面非常高效且可扩展。在与真实小规模数据集上的最先进算法VCL进行比较时，它们快了多达30倍。我们还通过在真实规模的数据集上运行所提出的算法来验证其可扩展性，而VCL从未成功完成该数据集。实验使用了IP和cookie的真实数据集，其中每个IP表示为cookie的多重集，目标是发现相似IP以识别互联网代理。
引用
@article{arxiv.1204.6077,
title = {V-SMART-Join: A Scalable MapReduce Framework for All-Pair Similarity Joins of Multisets and Vectors},
author = {Ahmed Metwally and Christos Faloutsos},
journal= {arXiv preprint arXiv:1204.6077},
year = {2012}
}
备注
VLDB2012