联合边-模型稀疏学习对图神经网络可证明高效
机器学习
2023-02-07 v1 人工智能
信号处理
最优化与控制
摘要
由于训练大规模图神经网络（GNNs）面临巨大的计算挑战，人们已经利用各种稀疏学习技术来降低内存和存储成本。例如，图稀疏化通过采样子图来减少数据聚合量，而模型稀疏化通过剪枝神经网络来减少可训练权重的数量。尽管在降低训练成本的同时保持测试精度方面取得了经验上的成功，但 GNNs 稀疏学习的理论泛化分析仍然难以捉摸。据我们所知，本文从样本复杂度和实现零泛化误差的收敛速率角度，首次对联合边-模型稀疏学习进行了理论刻画。它分析证明，采样重要节点和剪枝最低幅值的神经元都可以降低样本复杂度并提高收敛速度，且不损害测试精度。尽管分析以具有数据结构约束的两层 GNNs 为中心，但其见解适用于更一般的设置，并得到了合成和实际引文数据集的验证。
引用
@article{arxiv.2302.02922,
title = {Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks},
author = {Shuai Zhang and Meng Wang and Pin-Yu Chen and Sijia Liu and Songtao Lu and Miao Liu},
journal= {arXiv preprint arXiv:2302.02922},
year = {2023}
}