全局注意力提升图网络泛化能力
机器学习
2020-11-13 v2 数据结构与算法
机器学习
摘要
本文主张将一种低秩全局注意力（LRGA）模块——一种计算和内存高效的点积注意力变体（Vaswani 等人，2017）——引入图神经网络（GNNs），以提升其泛化能力。为了从理论上量化向 GNNs 添加 LRGA 模块所带来的泛化特性，我们聚焦于一个特定的表达性 GNN 族，并证明用 LRGA 增强它能提供与一个强大的图同构测试，即 2-Folklore Weisfeiler-Lehman (2-FWL) 算法，的算法对齐。更详细地说，我们：(i) 考虑最近的随机图神经网络（RGNN）框架（Sato 等人，2020），并证明它在概率上是通用的；(ii) 证明用 LRGA 增强的 RGNN 通过多项式核与 2-FWL 更新步骤对齐；(iii) 界定了当使用随机初始化的两层多层感知机（MLP）学习时，核特征图的样本复杂度。从实践角度来看，用 LRGA 增强现有的 GNN 层在当前的 GNN 基准测试中产生了最先进的结果。最后，我们观察到，用 LRGA 增强各种 GNN 架构通常会缩小不同模型之间的性能差距。
引用
@article{arxiv.2006.07846,
title = {Global Attention Improves Graph Networks Generalization},
author = {Omri Puny and Heli Ben-Hamu and Yaron Lipman},
journal= {arXiv preprint arXiv:2006.07846},
year = {2020}
}