迈向图神经网络中的深度注意力：问题与方法
机器学习
2023-06-06 v1 人工智能
摘要
图神经网络（GNNs）学习图结构数据的表示，而其表达能力可通过推断节点关系以用于传播而进一步增强。基于注意力的 GNN 推断邻居重要性以操控其传播权重。尽管其广受欢迎，关于深度图注意力及其特有挑战的讨论却很有限。在本工作中，我们研究了与深度图注意力相关的若干有问题现象，包括易受过平滑特征影响的脆弱性以及平滑的累积注意力。通过理论与实证分析，我们展示了多种基于注意力的 GNN 受这些问题困扰。受我们的发现启发，我们提出了 AERO-GNN，一种为深度图注意力设计的新型 GNN 架构。AERO-GNN 可证明地缓解所提出的深度图注意力问题，这进一步通过（a）其自适应且较不平滑的注意力函数以及（b）在深层（至多 64 层）的更高性能得到实证展示。在 12 个节点分类基准中的 9 个上，AERO-GNN 优于基线 GNN，凸显了深度图注意力的优势。我们的代码可在 https://github.com/syleeheal/AERO-GNN 获取。
引用
@article{arxiv.2306.02376,
title = {Towards Deep Attention in Graph Neural Networks: Problems and Remedies},
author = {Soo Yong Lee and Fanchen Bu and Jaemin Yoo and Kijung Shin},
journal= {arXiv preprint arXiv:2306.02376},
year = {2023}
}
备注
22 pages, 6 figures, conference paper, published in International Conference on Machine Learning. PMLR, 2023