异构图神经网络的梯度正则化统一框架
机器学习
2023-05-29 v2 人工智能
摘要
异构图神经网络(HGNN)是一类强大的深度学习方法,广泛用于学习异构图的表示。尽管 HGNN 发展迅速,仍面临过平滑和非鲁棒性等挑战。以往研究表明,使用梯度正则化方法可缓解这些问题。然而,现有梯度正则化方法或关注图拓扑或关注节点特征,缺乏整合这些特征的通用方法,严重影响了正则化效率。此外,将梯度正则化引入 HGNN 有时会导致训练过程不稳定、复杂度增加以及正则化信息覆盖不足等问题。而且,仍缺乏对梯度正则化作用于 HGNN 效果的完整理论分析。本文提出一种称为 Grug 的新颖梯度正则化方法,在消息传递过程中对传播消息与节点特征生成的梯度迭代施加正则化。Grug 提供了整合图拓扑与节点特征的统一框架,并据此对其有效性进行了详细理论分析。具体而言,理论分析阐明了 Grug 的优势:1) 降低训练过程中的样本方差(稳定性);2) 增强模型泛化能力(通用性);3) 降低模型复杂度(简洁性);4) 提升图信息利用的完整性与多样性(多样性)。因此,Grug 有望超越 DropMessage(AAAI-23 杰出论文)所设的理论上界。此外,我们在五个公开真实数据集上以两个下游任务对 Grug 进行了评估……
引用
@article{arxiv.2305.15811,
title = {Unifying gradient regularization for Heterogeneous Graph Neural Networks},
author = {Xiao Yang and Xuejiao Zhao and Zhiqi Shen},
journal= {arXiv preprint arXiv:2305.15811},
year = {2023}
}