不变与等变图神经网络的表达能力
机器学习
2021-06-08 v3 离散数学
机器学习
摘要
各类图神经网络（GNN）已被提出，并证明在广泛的有图结构数据应用中取得成功。本文中，我们提出一个能够比较这些 GNN 架构表达能力的理论框架。当前的普适性定理仅适用于难以处理的 GNN 类。此处，我们证明了针对实用 GNN 的首个逼近保证，为更好理解其泛化能力铺平道路。我们的理论结果针对计算图嵌入的不变 GNN（输入图节点的置换不影响输出）和计算节点嵌入的等变 GNN（输入的置换置换输出）而证。我们表明，Folklore 图神经网络（FGNN）——即基于张量并辅以矩阵乘法的 GNN——是迄今针对给定张量阶提出的最具表达力的架构。我们在二次分配问题（一个 NP 难组合问题）上通过展示 FGNN 能够学习如何解决该问题来说明我们的结果，其平均性能远优于现有算法（基于谱方法、SDP 或其他 GNN 架构）。在实践方面，我们还实现了掩码张量以处理不同大小图的批次。
引用
@article{arxiv.2006.15646,
title = {Expressive Power of Invariant and Equivariant Graph Neural Networks},
author = {Waïss Azizian and Marc Lelarge},
journal= {arXiv preprint arXiv:2006.15646},
year = {2021}
}
备注
Appears in: Proceedings of the 9th International Conference on Learning Representations, ICLR 2021. 39 pages