NodeFormer：一种用于节点分类的可扩展图结构学习 Transformer
机器学习
2023-06-16 v1 人工智能
摘要
图神经网络在学习互连数据方面已被广泛研究。尽管如此，近期证据揭示了 GNN 在过压缩、异配性、处理长程依赖、边不完整以及尤其是完全缺失图等方面存在的缺陷。虽然一种可行的解决方案是为消息传递学习新的自适应拓扑，但有关二次复杂度的问题阻碍了对大规模网络中可扩展性与精度的同时保证。本文中，我们引入了一种新颖的全配对消息传递方案，用于在任意节点间高效传播节点信号，作为用于大规模图上节点分类的开创性 Transformer 风格网络的重要构建模块，称为 \textsc{NodeFormer}。具体而言，高效计算由核化 Gumbel-Softmax 算子实现，该算子将算法复杂度降低为关于节点数的线性，以可微分方式从大规模、潜在全连接图中学习潜在图结构。我们还提供了相应的理论作为我们设计的依据。大量实验证明了该方法在各种任务中的良好效能，包括图上的节点分类（多达 2M 节点）以及输入图缺失的图增强应用（例如图像分类）。
引用
@article{arxiv.2306.08385,
title = {NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification},
author = {Qitian Wu and Wentao Zhao and Zenan Li and David Wipf and Junchi Yan},
journal= {arXiv preprint arXiv:2306.08385},
year = {2023}
}
备注
Published in NeurIPS 2022. 26 pages in total with the appendix