图混合器网络
机器学习
2023-01-31 v1
摘要
近年来，注意力机制在各种任务中展现出优越性能，催生了 GAT 和 Graph Transformer 等利用该机制从图结构数据中提取关系信息的模型。然而，如 Vision Transformers 中所见，Transformer 模块的高计算成本促使了 MLP-Mixers 等替代架构的发展，这些架构在降低计算成本的同时提升了图像任务的性能。尽管 Transformer 在基于图的任务中有效，其计算效率仍令人担忧。MLP-Mixers 在图像任务中解决此问题的逻辑有潜力应用于图结构数据。本文中，我们提出图混合器网络（GMN），亦称 Graph Nasreddin Nets（GNasNets），一种将 MLP-Mixers 原理引入图结构数据的框架。以具有多重聚合器的 PNA 模型为基础，我们所提出的 GMN 相比 Graph Transformers 展现出更优性能。源代码公开于 https://github.com/asarigun/GraphMixerNetworks。
引用
@article{arxiv.2301.12493,
title = {Graph Mixer Networks},
author = {Ahmet Sarıgün},
journal= {arXiv preprint arXiv:2301.12493},
year = {2023}
}