图神经网络的前向学习

图神经网络（GNN）在推荐、药物发现和问答等广泛应用中取得了显著成功。GNN成功的背后是反向传播（BP）算法，该算法是训练深度神经网络（NN）的事实标准。然而，尽管BP很有效，但它施加了若干约束，这些约束不仅在生物学上难以置信，而且限制了学习NN时的可扩展性、并行性和灵活性。此类约束的例子包括存储前向传递中计算的神经活动以供后续反向传递使用，以及参数更新依赖于非局部信号。为了解决这些局限性，最近提出了前向-前向算法（FF）作为图像分类领域中BP的替代方案，该算法通过对正数据和负数据执行两次前向传递来训练NN。受这一进展的启发，我们在本工作中提出了ForwardGNN，一种用于GNN的全新前向学习过程，它通过有效的逐层局部前向训练避免了BP施加的约束。ForwardGNN扩展了原始的FF以处理图数据和GNN，并使其能够在不生成负输入的情况下运行（因此不再是前向-前向）。此外，ForwardGNN使每一层能够从自下而上和自上而下的信号中学习，而无需依赖误差的反向传播。在真实世界数据集上的大量实验表明了所提出的前向图学习框架的有效性和通用性。我们在 https://github.com/facebookresearch/forwardgnn 发布了我们的代码。