用全局注意力为图神经网络表示长程上下文
机器学习
2022-01-24 v1
摘要
图神经网络是针对结构化数据集的强大架构。然而，当前方法难以表示长程依赖。扩大 GNN 的深度或宽度不足以拓宽感受野，因为更大的 GNN 会遇到如梯度消失和表示过平滑等优化不稳定性，而基于池化的方法尚未像在计算机视觉中那样变得普遍有用。在这项工作中，我们提出使用基于 Transformer 的自注意力来学习长程成对关系，并采用一种新颖的“读出”机制以获得全局图嵌入。受近期计算机视觉中发现位置不变注意力在学习长程关系中表现良好的结果启发，我们将该方法（称为 GraphTrans）在标准 GNN 模块之后应用一个置换不变 Transformer 模块。这一简单架构在多个图分类任务上取得了最先进（SOTA）结果，优于显式编码图结构的方法。我们的结果表明，不带图结构的纯基于学习的方法可能适用于学习图上的高级、长程关系。GraphTrans 的代码可在 https://github.com/ucbrise/graphtrans 获取。
引用
@article{arxiv.2201.08821,
title = {Representing Long-Range Context for Graph Neural Networks with Global Attention},
author = {Zhanghao Wu and Paras Jain and Matthew A. Wright and Azalia Mirhoseini and Joseph E. Gonzalez and Ion Stoica},
journal= {arXiv preprint arXiv:2201.08821},
year = {2022}
}
备注
NeurIPS 2021. The first two authors contributed equally to this work