用于有效分布式图嵌入训练的Leiden-Fusion分区方法

在大规模图嵌入训练领域，有效的训练框架和分区方法对于处理大型网络至关重要。然而，这些方法面临两个主要挑战：1）现有的同步分布式框架需要持续通信以获取来自其他机器的信息；2）当前分区方法无法确保子图保持连通组件且不存在孤立节点，这对于有效训练图神经网络（GNN）至关重要，因为训练依赖于来自相邻节点的信息聚合。为此，我们引入一种新颖的分区方法，命名为Leiden-Fusion，专为大规模图训练而设计，通信需求最小。该方法将Leiden社区检测算法扩展为一种贪心算法，用于合并最小社区与高度连接的相邻社区。我们的 метод保证对于初始连通图，每个分区都是一个无孤立节点且高度连通的子图。获得分区后，我们独立训练每个分区的GNN，然后集成所有节点嵌入以完成节点分类任务，这显著减少了网络通信需求并提高了分布式图训练的效率。我们通过在几个基准数据集上的广泛评估表明，该方法在保持图嵌入质量的同时实现了高效性。