驯服图神经网络中的梯度过平滑与扩张

过平滑被认为是多层图神经网络（GNN）的主要瓶颈。已有多项分析研究了过平滑的发生方式和原因。然而，既有工作没有 address 在过平滑情境下进行优化的方式。本文我们展示了存在$\textit{梯度过平滑}$防止训练期间的优化。我们进一步分析，图神经网络采用残差连接（这是一种已知有助于深层架构中梯度流动的解决方案），会引入$\textit{梯度扩张}$，即梯度在不同方向上发生爆炸的现象。因此，添加残差连接不能作为使图神经网络变深的解决方案。我们的分析揭示了约束每层 Lipschitz 常数的作用可以中和梯度扩张。为此，我们提供了一种简单而有效的方法，以防止梯度扩张。实证研究表明，在所提出的归一化方法下，可有效训练拥有数百层的残差图神经网络，而不会损害性能。additional studies表明，额外的观察与我们的理论分析相吻合。