Specformer：谱图神经网络遇见 Transformer
机器学习
2023-03-03 v1 人工智能
社会与信息网络
摘要
谱图神经网络（GNN）通过谱域图卷积学习图表示。然而，大多数现有谱图滤波器是标量到标量的函数，即把单个特征值映射为单个滤波值，从而忽略了谱的全局模式。此外，这些滤波器通常基于某些固定阶多项式构造，表达能力和灵活性有限。为解决这些问题，我们提出 Specformer，它有效编码所有特征值的集合并在谱域执行自注意力，从而得到可学习的集合到集合的谱滤波器。我们还设计了一个具有可学习基的解码器以实现非局部图卷积。重要的是，Specformer 对置换等变。通过堆叠多个 Specformer 层，可以构建强大的谱 GNN。在合成数据集上，我们表明我们的 Specformer 比其他谱 GNN 能更好地恢复真实谱滤波器。在真实图数据集上节点级和图级任务的广泛实验表明，我们的 Specformer 优于最先进的 GNN 并学习到有意义的谱模式。代码和数据可在 https://github.com/bdy9527/Specformer 获取。
引用
@article{arxiv.2303.01028,
title = {Specformer: Spectral Graph Neural Networks Meet Transformers},
author = {Deyu Bo and Chuan Shi and Lele Wang and Renjie Liao},
journal= {arXiv preprint arXiv:2303.01028},
year = {2023}
}
备注
ICLR 2023