ViT/MLP-Mixer 在图上的推广
计算机视觉与模式识别
2023-06-01 v2
摘要
图神经网络（GNNs）在图表示学习领域已展现出巨大潜力。标准 GNN 定义了一种局部消息传递机制，通过堆叠多层将信息在整个图域上传播。这一范式存在两个主要局限：过度压缩（over-squashing）和长距离依赖能力差，可用全局注意力解决但会将计算成本显著增至二次复杂度。本工作中，我们提出一种替代方法，通过利用计算机视觉中引入的 ViT/MLP-Mixer 架构来克服这些结构局限。我们引入一类新的 GNN，称为 Graph ViT/MLP-Mixer，具有三个关键性质。第一，如 Long Range Graph Benchmark 和 TreeNeighbourMatch 数据集所示，它们能捕捉长距离依赖并缓解过度压缩问题。第二，它们以关于节点和边数量的线性复杂度提供更好的速度与内存效率，超越相关的 Graph Transformer 和具表达力的 GNN 模型。第三，它们在图同构方面表现出高表达力，至少能区分 3-WL 非同构图。我们在 4 个模拟数据集和 7 个真实基准上测试我们的架构，并在所有数据集上展示出极具竞争力的结果。源代码可在 https://github.com/XiaoxinHe/Graph-ViT-MLPMixer 获取以复现结果。
引用
@article{arxiv.2212.13350,
title = {A Generalization of ViT/MLP-Mixer to Graphs},
author = {Xiaoxin He and Bryan Hooi and Thomas Laurent and Adam Perold and Yann LeCun and Xavier Bresson},
journal= {arXiv preprint arXiv:2212.13350},
year = {2023}
}
备注
In Proceedings of ICML 2023