图神经网络中过平滑的非渐近分析

过平滑是构建更强大的图神经网络（GNN）的核心挑战。尽管先前的工作仅证明了当图卷积数量趋于无穷时过平滑是不可避免的，但在本文中，我们通过非渐近分析精确刻画了该现象背后的机制。具体而言，我们区分了应用图卷积时的两种不同效应——一种是不良的混合效应，它使不同类别的节点表示同质化；另一种是理想的去噪效应，它使同一类别内的节点表示同质化。通过量化从上下文随机块模型（CSBM）采样的随机图上的这两种效应，我们表明一旦混合效应开始主导去噪效应就会发生过平滑，并且对于具有 $N$ 个节点的足够密集的图，发生这种转变所需的层数为 $O(\log N/\log (\log N))$。我们还扩展了我们的分析，以研究个性化 PageRank（PPR）的影响，或等价地，初始残差连接对过平滑的影响。我们的结果表明，尽管 PPR 缓解了更深层的过平滑，但基于 PPR 的架构仍在浅深度时取得最佳性能，并且在某些图上表现不如图卷积方法。最后，我们用数值实验支持了我们的理论结果，这些实验进一步表明，实践中观察到的过平滑现象可能会因优化深度 GNN 模型的困难而被放大。