全局自注意力作为图卷积的替代方案
机器学习
2022-06-06 v3
摘要
我们提出了一种对 transformer 神经网络架构的扩展，用于通用图学习，通过添加专门用于成对结构信息的通路（称为边通道）来实现。由此产生的框架——我们称之为边增强图 transformer（Edge-augmented Graph Transformer, EGT）——可以直接接收、处理和输出任意形式的结构信息，这对于图结构数据的有效学习至关重要。我们的模型专门使用全局自注意力作为聚合机制，而非静态的局部化卷积聚合。这使得节点之间能够进行无约束的长程动态交互。此外，边通道允许结构信息在层与层之间演化，并且边/链接上的预测任务可以直接从这些通道的输出嵌入中执行。我们在基准数据集上的一系列图学习实验中验证了 EGT 的性能，其优于卷积/消息传递图神经网络。EGT 在包含 380 万个分子图的 OGB-LSC PCQM4Mv2 数据集上的量子化学回归任务中确立了新的最先进水平（SOTA）。我们的研究结果表明，基于全局自注意力的聚合可以作为通用图学习中图卷积的灵活、自适应且有效的替代方案。因此，卷积局部邻域聚合并非必需的归纳偏置。
引用
@article{arxiv.2108.03348,
title = {Global Self-Attention as a Replacement for Graph Convolution},
author = {Md Shamim Hussain and Mohammed J. Zaki and Dharmashankar Subramanian},
journal= {arXiv preprint arXiv:2108.03348},
year = {2022}
}
备注
The accepted version in KDD '22