可证明强大的图网络
机器学习
2020-06-11 v4 机器学习
摘要
近来，Weisfeiler-Lehman（WL）图同构测试被用于衡量图神经网络（GNN）的表达能力。研究表明，流行的消息传递GNN无法区分1-WL测试（Morris等人2018；Xu等人2019）不可区分的图。遗憾的是，许多简单图实例无法被1-WL测试区分。为寻找更具表达力的图学习模型，我们基于近期的k阶不变与等变图神经网络（Maron等人2019a,b）构建并提出两点结果：首先，我们证明此类k阶网络区分非同构图的能力与k-WL测试相当，而对于k>2，k-WL测试被证明强于1-WL测试。这使得这些模型严格强于消息传递模型。遗憾的是，这些模型更高的表达能力伴随着处理高阶张量的计算代价。其次，以构建可证明更强、简单且可扩展的模型为目标，我们证明一个仅含缩放恒等算子并辅以单一二次运算（矩阵乘法）的简化2阶网络具有可证明的3-WL表达能力。换言之，我们提出一种简单模型，其交错应用作用于特征维度的标准多层感知机（MLP）与矩阵乘法。我们通过在流行图分类与回归任务上给出最优结果来验证该模型。据我们所知，这是首个具有保证3-WL表达能力、严格强于消息传递模型的实用不变/等变模型。
引用
@article{arxiv.1905.11136,
title = {Provably Powerful Graph Networks},
author = {Haggai Maron and Heli Ben-Hamu and Hadar Serviansky and Yaron Lipman},
journal= {arXiv preprint arXiv:1905.11136},
year = {2020}
}