秩崩塌导致图神经网络中的过平滑与过相关

我们的研究揭示了关于图神经网络中过平滑与特征过相关的新理论见解。具体而言，我们证明了随着深度增加，节点表示被依赖于聚合函数而非特征变换的低维子空间所主导。对于所有聚合函数，节点表示的秩发生崩塌，并针对特定聚合函数导致过平滑。我们的研究强调未来研究应聚焦于秩崩塌而非过平滑。受我们的理论指导，我们提出克罗内克积之和作为一种有益性质，可证明地防止过平滑、过相关和秩崩塌。我们通过实证展示了现有模型在拟合节点分类任务目标函数方面的缺陷。