基于快速特征近似的谱图注意力网络
机器学习
2021-07-28 v2 社会与信息网络
机器学习
摘要
近来提出了多种用于表示学习的图神经网络（GNN）变体，并在各领域取得了丰硕成果。其中，图注意力网络（GAT）首次采用自注意力策略，为空间域中每条边学习注意力权重。然而，在边上学习注意力只能聚焦于图的局部信息，并大幅增加了计算开销。在本文中，我们首次将注意力机制引入图的谱域，提出谱图注意力网络（SpGAT），针对加权滤波器和图小波基学习不同频率分量的表示。如此，SpGAT 能以比 GAT 少得多的可学习参数高效地更好地捕捉图的全局模式。进一步，为降低 SpGAT 因特征分解带来的计算成本，我们提出一种快速近似变体 SpGAT-Cheby。我们在半监督节点分类任务中全面评估了 SpGAT 与 SpGAT-Cheby 的性能，并验证了谱域中所学注意力的有效性。
引用
@article{arxiv.2003.07450,
title = {Spectral Graph Attention Network with Fast Eigen-approximation},
author = {Heng Chang and Yu Rong and Tingyang Xu and Wenbing Huang and Somayeh Sojoudi and Junzhou Huang and Wenwu Zhu},
journal= {arXiv preprint arXiv:2003.07450},
year = {2021}
}
备注
Accepted by Deep Learning on Graphs: Method and Applications (DLG-KDD21)