MLPInit：以 MLP 初始化极简加速 GNN 训练

在大型图上训练图神经网络（GNNs）复杂且极为耗时。这归因于稀疏矩阵乘法带来的开销，而在仅使用节点特征训练多层感知机（MLPs）时可规避这些开销。MLPs 通过忽略图上下文，对图数据而言简单且更快，但通常牺牲预测精度，限制了其在图数据上的应用。我们观察到，对于大多数基于消息传递的 GNNs，我们可以通过设置相同形状的可训练参数，平凡地推导出一个权重空间等价的类比 MLP（称之为 PeerMLP），这使我们好奇于\textbf{\emph{使用完全训练好的 PeerMLP 的权重来初始化并使用的 GNNs 表现如何？}} 令人惊讶的是，我们发现用此类权重初始化的 GNNs 显著优于其 PeerMLPs，这促使我们将 PeerMLP 训练作为 GNN 训练的前置初始化步骤。为此，我们提出了一种极简却极为有效的 GNN 训练加速初始化方法，称为 MLPInit。我们在多个大规模图数据集和多种 GNN 架构上的大量实验验证，MLPInit 可加速 GNN 训练（在 OGB-Products 上最高达 33 倍加速），且常能提升预测性能（例如，在 7 个节点分类数据集上 GraphSAGE 提升达 $7.97\%$，在 4 个链接预测数据集上基于 Hits@10 指标提升达 $17.81\%$）。代码见 \href{https://github.com/snap-research/MLPInit-for-GNNs}。