游走消息传递神经网络与二阶图神经网络
机器学习
2020-06-18 v1 机器学习
摘要
消息传递神经网络(MPNNs)的表达能力已知与一维 Weisfeiler-Leman 图(1-WL)同构测试的表达能力相匹配。为提升 MPNNs 的表达能力,近期已提出若干基于高维 Weisfeiler-Leman 测试的图神经网络架构。本文考虑二维(2-WL)测试,并引入一类新型 MPNNs,称为 -游走 MPNNs,其沿顶点间长度为 的游走聚合特征。我们证明 -游走 MPNNs 在表达能力上与 2-WL 相匹配。更一般地,对于任意 ,-游走 MPNNs 被证明与近期提出的 -游走精化过程(W[])具有相同的表达能力。基于 2-WL 与 W[] 之间的对应关系,我们观察到 -游走 MPNNs 与 -游走 MPNNs 具有相同的表达能力,即它们能区分相同的图对,但 -游走 MPNNs 可能比 -游走 MPNNs 更快地区分图对。在具体的、与 2-WL 或 W[] 表达能力匹配的、可学习的图神经网络(GNN)形式方面,我们考虑允许非线性层的二阶图神经网络。特别地,为匹配 W[] 的表达能力,我们在每一层允许 次矩阵乘法。我们根据特征类型(即可数集特征或不可数集特征)提出不同版本的二阶 GNN,因为这会影响表示特征所需的维数。我们的结果表明,通过允许多次矩阵乘法来增加层中的非线性并不会提升表达能力,至多只能更快地区分输入图。
引用
@article{arxiv.2006.09499,
title = {Walk Message Passing Neural Networks and Second-Order Graph Neural Networks},
author = {Floris Geerts},
journal= {arXiv preprint arXiv:2006.09499},
year = {2020}
}
备注
16 pages