随机节点初始化的图神经网络出人意料的表达能力
机器学习
2021-06-07 v2 人工智能
机器学习
摘要
图神经网络(GNNs)是关系数据上表示学习的有效模型。然而,标准GNN的表达能力受限,因为它们无法区分超出Weisfeiler-Leman图同构启发式能力的图。为打破该表达性壁垒,GNN已通过随机节点初始化(RNI)得到增强,其思路是以随机初始节点特征训练并运行模型。本工作中,我们分析带RNI的GNN的表达能力,并证明这些模型是通用的(universal),这是首个不依赖计算繁重的高阶性质的GNN此类结果。该通用性结果即便在部分随机化初始节点特征时仍成立,并在期望上保持GNN的不变性性质。随后我们基于精心构建的数据集,实证分析RNI对GNN的影响。我们的实证发现支持带RNI的GNN相对于标准GNN的优越性能。
引用
@article{arxiv.2010.01179,
title = {The Surprising Power of Graph Neural Networks with Random Node Initialization},
author = {Ralph Abboud and İsmail İlkan Ceylan and Martin Grohe and Thomas Lukasiewicz},
journal= {arXiv preprint arXiv:2010.01179},
year = {2021}
}
备注
Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence (IJCAI-21). Code and data available at http://www.github.com/ralphabb/GNN-RNI