通过图粗化扩展图神经网络的规模
机器学习
2021-06-10 v1 社会与信息网络
摘要
图神经网络的可扩展性仍是图机器学习中的主要挑战之一。由于节点的表示是通过从先前层递归聚合并变换其邻居节点的表示向量来计算的，感受野呈指数增长，这使得标准随机优化技术失效。已有多种方法被提出以缓解此问题，例如基于采样的方法以及基于图滤波器预计算的技术。本文中，我们采取不同思路，提出使用图粗化进行 GNN 的可扩展训练，该方法通用、极为简单，且在训练期间具有亚线性内存与时间开销。我们对使用粗化操作的影响给出了广泛的理论分析，并为粗化方法的选择提供了有用指导。有趣的是，我们的理论分析表明粗化也可视为一种正则化，并可能改善泛化能力。最后，在真实世界数据集上的实证结果表明，仅应用现成的粗化方法，我们便能将节点数量减少多达十倍，而不会引起分类精度的明显降级。
引用
@article{arxiv.2106.05150,
title = {Scaling Up Graph Neural Networks Via Graph Coarsening},
author = {Zengfeng Huang and Shengzhong Zhang and Chong Xi and Tang Liu and Min Zhou},
journal= {arXiv preprint arXiv:2106.05150},
year = {2021}
}
备注
KDD 2021