面向快速 Theta-连接：一种预过滤与合并划分方法

作为最有用的在线处理技术之一，theta-连接操作已被许多应用用于在各种场景中充分挖掘数据流之间的关系。因此，人们持续投入研究以优化其在分布式环境下的性能，其典型特征为尽可能减少笛卡尔积的数量。在本文中，我们基于最先进的 FastThetaJoin 算法，通过开发预过滤和合并划分两种不同技术，设计并实现了一个名为 Prefap 的新型快速 theta-连接算法，以优化 theta-连接操作的效率。首先，我们在数据流被划分之前开发了一种预过滤策略，以减少待处理数据量并有利于更细粒度的划分。其次，为避免数据流以粗粒度孤立方式被划分并提升分区级过滤的质量，我们引入了一种合并划分机制，该机制能够合并两个数据流的划分边界以辅助细粒度划分。通过将这两种技术集成到现有 FastThetaJoin 算法中，我们设计并实现了一个新框架，以实现更少的笛卡尔积数量和更高的 theta-连接效率。通过与现有算法（特别是 FastThetaJoin）进行比较，我们在从二路到多路的合成与真实数据流上评估了 Prefap 的性能，以证明其优越性。