SCARA：具备特征导向优化的可扩展图神经网络
机器学习
2023-06-02 v1 数据库
摘要
近期数据处理的进展激发了对超大规模图学习的需求。图神经网络（GNNs）作为解决图学习任务的一种新兴且强大的方法，众所周知难以扩展。大多数可扩展模型采用基于节点的技术来简化 GNN 昂贵的图消息传递传播过程。然而，我们发现当应用于百万甚至十亿规模图时，此类加速是不够的。在本工作中，我们提出 SCARA，一种具备特征导向优化以进行图计算的可扩展 GNN。SCARA 从节点特征高效计算图嵌入，并进一步选择及复用特征计算结果以降低开销。理论分析表明，我们的模型在传播过程以及 GNN 训练和推理中实现了亚线性时间复杂度且精度有保障。我们在多个数据集上进行了广泛实验以评估 SCARA 的有效性和效率。与基线的性能比较显示，SCARA 可达到比当前最先进方法快至多 100 倍的图传播加速，且具有快速收敛和可比精度。最值得注意的是，它能在 100 秒内高效处理最大可用十亿规模 GNN 数据集 Papers100M（1.11 亿节点，16 亿边）上的预计算。
引用
@article{arxiv.2207.09179,
title = {SCARA: Scalable Graph Neural Networks with Feature-Oriented Optimization},
author = {Ningyi Liao and Dingheng Mo and Siqiang Luo and Xiang Li and Pengcheng Yin},
journal= {arXiv preprint arXiv:2207.09179},
year = {2023}
}