GraphTheta：具备灵活训练策略的分布式图神经网络学习系统

图神经网络（GNNs）已被证明是分析非欧几里得图数据的强大工具。然而，缺乏高效的分布式图学习系统严重阻碍了 GNNs 的应用，尤其在图规模庞大且 GNNs 相对较深时。在此，我们提出 GraphTheta，这是首个构建于以顶点为中心的分布式图处理之上的分布式可扩展图学习系统，其中神经网络算子实现为用户自定义函数。该系统支持多种训练策略，并能在低内存的分布式（虚拟）机器上实现高效且可扩展的大图学习。为促进图卷积，GraphTheta 提出了一种名为 NN-TGAR 的新图学习抽象，以弥合图处理与图深度学习之间的鸿沟。我们提出了一种分布式图引擎，以混合并行执行方式进行随机梯度下降优化，并支持一种新的簇批量训练策略。我们使用从小规模、中等规模到大规模多个数据集评估 GraphTheta。实验结果表明，GraphTheta 可良好扩展至 1024 个工作节点，用于在含 14 亿节点和 41 亿带属性边的工业级支付宝数据集上训练内部开发的 GNN，每个节点为小内存（5$\sim$12GB）的 CPU 虚拟机（docker）。此外，GraphTheta 可超越 DistDGL 达 $2.02\times$，具备更好可扩展性，并超越 GraphLearn 达 $30.56\times$。在模型精度方面，GraphTheta 能够学习出与现有框架同样优良的 GNNs。据我们所知，本工作给出了文献中最大规模的边属性 GNN 学习任务。