迈向图神经网络的稀疏化
机器学习
2023-02-27 v3
摘要
随着真实世界图的规模扩大，具有数十亿参数的更大 GNN 模型被部署。此类模型中的高参数数量使得图上的训练和推理昂贵且具有挑战性。为降低 GNN 的计算和内存成本，优化方法如修剪输入图中的冗余节点和边已被普遍采用。然而，直接针对模型层稀疏化的模型压缩，主要局限于用于图像分类和目标检测等任务的传统深度神经网络(DNNs)。在本文中，我们利用两种最先进的模型压缩方法(1)训练并剪枝和(2)稀疏训练来对 GNN 中的权重层进行稀疏化。我们在真实世界图上从准确率、训练稀疏度和训练 FLOPs 方面评估并比较了两种方法的效率。我们的实验结果表明，在用于链接预测的 ia-email、wiki-talk 和 stackoverflow 数据集上，具有低得多的训练 FLOPs 的稀疏训练达到了与训练并剪枝方法相当的准确率。在用于节点分类的 brain 数据集上，稀疏训练使用更少的 FLOPs（少于训练并剪枝方法的 1/7 FLOPs）并在极端模型稀疏度下保持了好得多的准确率性能。
引用
@article{arxiv.2209.04766,
title = {Towards Sparsification of Graph Neural Networks},
author = {Hongwu Peng and Deniz Gurevin and Shaoyi Huang and Tong Geng and Weiwen Jiang and Omer Khan and Caiwen Ding},
journal= {arXiv preprint arXiv:2209.04766},
year = {2023}
}
备注
ICCD 2022 Paper