论图神经网络的初始化
机器学习
2023-12-06 v1 人工智能
摘要
图神经网络（GNN）在各种应用的图表示学习中展现出了巨大的潜力。核心学习过程需要在每个 GNN 层内初始化模型权重矩阵，这通常通过经典初始化方法（如 Xavier 初始化）来完成。然而，这些方法最初的动机是为了稳定前馈神经网络（FNN）和卷积神经网络（CNN）各层间隐藏嵌入和梯度的方差，以避免梯度消失并保持稳定的信息流。相比之下，在 GNN 语境中，经典初始化方法忽略了输入图结构和消息传递对方差的影响。在本文中，我们分析了 GNN 各层间前向和反向传播的方差，并表明 GNN 初始化的方差不稳定性源于激活函数、隐藏维度、图结构和消息传递的综合效应。为了更好地考虑这些影响因素，我们提出了一种用于 GNN 优化的方差不稳定性缩减新初始化方法，它自然地倾向于使连续层间的前向和反向方差相等。我们在 15 个数据集上进行了全面实验，表明 Virgo 能够在节点分类、链路预测和图分类任务上带来更优的模型性能和初始化时更稳定的方差。代码位于 https://github.com/LspongebobJH/virgo_icml2023。
引用
@article{arxiv.2312.02622,
title = {On the Initialization of Graph Neural Networks},
author = {Jiahang Li and Yakun Song and Xiang Song and David Paul Wipf},
journal= {arXiv preprint arXiv:2312.02622},
year = {2023}
}
备注
Accepted by ICML 2023