RandAlign：一种用于正则化图卷积网络的无参数方法

研究不断发现，消息传递图卷积网络存在过平滑问题。基本上，过平滑问题是指所有节点的学习嵌入在反复应用消息传递迭代后会变得彼此非常相似，从而失去信息量。直观上，我们可以预期生成的嵌入在逐层上渐近平滑，即图卷积的每一层生成的嵌入是相较于上一层生成嵌入的平滑版本。基于这一直觉，我们提出了 RandAlign，一种用于图卷积网络的随机正则化方法。RandAlign 的思想是在每个图卷积层中，利用随机插值将每个节点的学习嵌入与上一层的嵌入进行随机对齐。通过对齐，显式地降低了生成嵌入的平滑度。为了更好地保持图卷积带来的益处，在对齐步骤中，我们首先将上一层嵌入缩放至与生成嵌入相同的范数，然后执行随机插值以对齐生成的嵌入。RandAlign 是一种无参数方法，可直接应用而无需引入额外的可训练权重或超参数。我们在七个基准数据集上评估了 RandAlign 在不同图领域任务上的表现。实验结果表明，RandAlign 是一种通用方法，能提升各种图卷积网络模型的泛化性能，并改善优化的数值稳定性，推进了图表示学习的 SOTA 性能。