重构图变换器架构设计用于节点分类
机器学习
2024-10-16 v1
摘要
图变换器(GT)作为图神经网络(GNN)的一种特殊类型，利用多头注意力机制来促进高阶消息传递。这也对节点分类应用带来了若干限制：1)节点易受到全局噪声影响；2)自注意力计算难以扩展到大型图。本文进行了大量观察性实验，探讨了 GT 架构在节点分类任务中的适应性，并得出若干结论：GT 中当前的多头自注意力模块可被完全取代，而前馈神经网络模块却显示出价值。基于此，我们解耦了 GNN 的传播(P)与转换(T)，并探索一种强大的 GT 架构，称为 GNNFormer，基于 P/T 组合的消息传递，适用于 homophilous 和 heterophilous 场景中的节点分类。在12个基准数据集上的大量实验表明，我们提出的 GT 架构能够有效适应节点分类任务，而不受全局噪声和计算效率限制的影响。
引用
@article{arxiv.2410.11189,
title = {Rethinking Graph Transformer Architecture Design for Node Classification},
author = {Jiajun Zhou and Xuanze Chen and Chenxuan Xie and Yu Shanqing and Qi Xuan and Xiaoniu Yang},
journal= {arXiv preprint arXiv:2410.11189},
year = {2024}
}