中文

GMLP:基于特征-消息传递构建可扩展且灵活的图神经网络

机器学习 2021-04-21 v1

摘要

在近期研究中,神经消息传递已被证明是设计图神经网络(GNNs)的有效方式,其在许多基于图的任务中取得了最先进的性能。然而,当前的神经消息传递架构通常需要在多轮中进行昂贵的递归邻域扩展,因而面临可扩展性问题。此外,大多数现有的神经消息传递方案缺乏灵活性,因为它们受限于固定跳数的邻域,且对不同节点的实际需求不敏感。我们通过一种称为图多层感知机(GMLP)的新型特征-消息传递框架规避了这些局限,该框架将神经更新与消息传递分离。借助这种分离,GMLP通过在预计算方式下执行消息传递显著提升了可扩展性和效率,并且在不同局部层级上利用节点特征消息时具有灵活性与自适应性。我们进一步在该框架下推导了可扩展GNN的新变体,以在性能与效率之间实现两全其美。我们在11个基准数据集(包括ogbn-products等大规模数据集和一个工业数据集)上进行了广泛评估,表明GMLP不仅取得了最先进的性能,还具备较高的训练可扩展性和效率。

关键词

引用

@article{arxiv.2104.09880,
  title  = {GMLP: Building Scalable and Flexible Graph Neural Networks with Feature-Message Passing},
  author = {Wentao Zhang and Yu Shen and Zheyu Lin and Yang Li and Xiaosen Li and Wen Ouyang and Yangyu Tao and Zhi Yang and Bin Cui},
  journal= {arXiv preprint arXiv:2104.09880},
  year   = {2021}
}