涟漪游走训练：一种基于子图的大图深层图神经网络训练框架
机器学习
2021-05-05 v3 机器学习
摘要
图神经网络（GNNs）在学习图结构数据和各种任务中取得了卓越性能。然而，许多当前的GNN在面对大尺寸图或使用更深结构时遭受三个常见问题：邻居爆炸、节点依赖和过平滑。这些问题归因于图本身的数据结构或多层GNN框架的设计，并会导致低训练效率和高空间复杂度。为应对这些问题，本文提出一种通用的基于子图的训练框架，即涟漪游走训练（RWT），用于深层和大图神经网络。RWT从全图中采样子图构成mini-batch，并基于mini-batch梯度更新完整GNN。我们以理论方式分析了用于训练GNN的高质量子图。一种新颖的采样方法涟漪游走采样器用于采样这些高质量子图以构成mini-batch，其同时考虑了图结构数据的随机性和连通性。在不同尺寸图上的大量实验证明了RWT在训练各种GNN（GCN与GAT）中的有效性和高效性。
引用
@article{arxiv.2002.07206,
title = {Ripple Walk Training: A Subgraph-based training framework for Large and Deep Graph Neural Network},
author = {Jiyang Bai and Yuxiang Ren and Jiawei Zhang},
journal= {arXiv preprint arXiv:2002.07206},
year = {2021}
}