通过噪声遮蔽实现可扩展且深层的图神经网络
机器学习
2025-04-11 v2 人工智能
摘要
近年来，图神经网络在许多图挖掘任务中取得了显著的成功。然而，由于在训练期间重复的特征传播和非线性变换的高计算和存储成本，将其扩展到大型图仍然具有挑战性。常用的解决方法是模型简化，即仅在预处理中执行一次传播(P)，然后以不同方式组合这些感受场并输入简单模型以获得更好的性能。尽管这些方法在预测性能和可扩展性方面表现出色，但仍面临两个局限性：首先，现有方法主要从模型角度探索不同的C方法，忽略了来自数据中心视角的性能随P深度增加而下降的关键问题，称为过平滑问题。其次，预处理开销占据端到端处理时间的绝大部分，尤其是对于大规模图而言。为解决这些局限性，我们提出了随机游走加噪声遮蔽(RMask)，一种可与现有模型简化方法兼容的即插即用模块。该模块使得能够在保持可扩展性的同时探索更深的图神经网络。与之前的模型简化方法不同，我们关注连续的P，并发现其中每一步的噪声是过平滑问题的根源，而使用高效的遮蔽机制消除这些噪声。实验结果表明，搭载RMask的模型简化方法在准确率和效率之间取得了优越的性能。
引用
@article{arxiv.2412.14602,
title = {Towards Scalable and Deep Graph Neural Networks via Noise Masking},
author = {Yuxuan Liang and Wentao Zhang and Zeang Sheng and Ling Yang and Quanqing Xu and Jiawei Jiang and Yunhai Tong and Bin Cui},
journal= {arXiv preprint arXiv:2412.14602},
year = {2025}
}