切片输入特征以加速深度学习：图神经网络的案例研究
机器学习
2024-08-22 v1
摘要
随着图的规模增大，全批次图神经网络训练对单 GPU 内存而言变得困难。因此，为提升 GNN 训练的可扩展性，一些研究提出了基于采样的小批量训练和分布式图学习。然而，这些方法仍存在诸如性能下降和通信开销大等缺点。本文提出了 SliceGCN，一种特征切片的分布式大规模图学习方法。SliceGCN 对节点特征进行切片，每个计算设备（即 GPU）处理部分特征。每个 GPU 处理其份额后，获得部分表示并拼接为完整表示，使得单 GPU 内存能够处理整个图结构。这旨在避免小批量训练通常伴随的精度损失（由于不完整的图结构），并减少消息传递过程中（GNN 的前向传播过程）的 GPU 间通信。为了研究和缓解特征切片可能带来的精度下降，本文提出了特征融合与切片编码。在六个节点分类数据集上进行了实验，得到了一些有趣的分析结果。这些结果表明，虽然 SliceGCN 在较小数据集上并未提升效率，但在较大数据集上确实提高了效率。此外，我们发现 SliceGCN 及其变体具有更好的收敛性，特征融合和切片编码可以使训练更稳定、减少精度波动，并且本研究还发现 SliceGCN 的设计具有潜在的参数高效特性。
引用
@article{arxiv.2408.11500,
title = {Slicing Input Features to Accelerate Deep Learning: A Case Study with Graph Neural Networks},
author = {Zhengjia Xu and Dingyang Lyu and Jinghui Zhang},
journal= {arXiv preprint arXiv:2408.11500},
year = {2024}
}