基于MapReduce的过滤验证树高效无候选R-S集合相似度连接
分布式、并行与集群计算
2025-12-18 v3 数据库
摘要
给定两个不同的集合R和S，精确的R-S集合相似度连接（R-S Join）找出所有相似度不低于给定阈值的集合对，这具有广泛的应用。现有算法使用两阶段过滤验证框架以及并行和分布式的MapReduce框架来加速大规模R-S连接，然而，它们遭受过多的候选集合对（候选集）的问题，导致显著的I/O和验证开销。本文提出了新颖的无候选R-S连接（CF-RS-Join）算法，通过过滤验证树（FVT）及其线性变体（LFVT）将过滤和验证集成到单个阶段。首先，提出了使用FVT的CF-RS-Join（CF-RS-Join/FVT），利用创新的FVT结构在内存中压缩元素和关联集合，实现单阶段处理，消除了候选集生成，支持快速查找，并减少了数据库扫描。提供了正确性证明。其次，提出了使用LFVT的CF-RS-Join（CF-RS-Join/LFVT），利用更紧凑的线性FVT，将非分支路径压缩为单个节点并存储在线性数组中以优化遍历。第三，提出了MR-CF-RS-Join/FVT和MR-CF-RS-Join/LFVT，使用MapReduce扩展我们的方法以进行并行处理。对所提出的算法与最先进的（SOTA）基线在执行时间、可扩展性、内存使用和磁盘使用方面进行了广泛的实验。结果表明，MR-CF-RS-Join/LFVT在7个真实世界数据集上的性能比第二名高出1.37倍至15.78倍。
引用
@article{arxiv.2506.03893,
title = {Efficient Candidate-Free R-S Set Similarity Joins with Filter-and-Verification Trees on MapReduce},
author = {Yuhong Feng and Fangcao Jian and Yixuan Cao and Xiaobin Jian and Jia Wang and Haiyue Feng and Chunyan Miao},
journal= {arXiv preprint arXiv:2506.03893},
year = {2025}
}