中文

我们需要各向异性图神经网络吗?

机器学习 2022-05-10 v5

摘要

图神经网络(GNN)领域的普遍看法认为,各向异性模型——其中节点间发送的消息是源节点与目标节点的函数——是实现最优性能所必需的。迄今的基准测试已表明,这些模型优于可比较的各向同性模型——其中消息仅是源节点的函数。在本工作中,我们提供挑战这一叙事的经验证据:我们提出一种称为高效图卷积(EGC)的各向同性GNN,它通过使用空间变化自适应滤波器,持续优于可比较的各向异性模型,包括流行的GAT或PNA架构。除了为GNN领域提出重要问题外,我们的工作对效率具有显著的实际意义。EGC以更低的内存消耗与延迟实现更高的模型精度,并具备适合加速器实现的特性,同时可作为现有架构的即插即用替代。作为各向同性模型,它需要正比于图中顶点数的内存(O(V)\mathcal{O}(V));相反,各向异性模型需要正比于边数的内存(O(E)\mathcal{O}(E))。我们证明EGC在6个大型且多样的基准数据集上优于现有方法,并最后讨论我们的工作今后为该领域提出的问题。我们实验的代码与预训练模型见于 https://github.com/shyam196/egc。

关键词

引用

@article{arxiv.2104.01481,
  title  = {Do We Need Anisotropic Graph Neural Networks?},
  author = {Shyam A. Tailor and Felix L. Opolka and Pietro Liò and Nicholas D. Lane},
  journal= {arXiv preprint arXiv:2104.01481},
  year   = {2022}
}

备注

Published as a conference paper at ICLR 2022