SEA：图神经网络中的图壳注意力
机器学习
2021-10-22 v1 人工智能
摘要
图神经网络 (GNNs) 中的一个常见问题被称为过平滑。通过增加 GNNs 消息传递中的迭代次数，输入图的节点表示彼此对齐并变得不可区分。近来研究表明，通过集成注意力机制来增加模型复杂度可产生更具表达力的架构。这主要归功于将节点表示仅导向比其他节点更具信息量的节点。Transformer 模型与 GNNs 结合产生了包含图 Transformer 层 (GTL) 的架构，其中各层完全基于注意力操作。然而，节点表示的计算仍受限于 GNN 的计算工作流程。在我们的工作中，我们通过实现一种路由启发式方法放松了 GNN 架构。具体而言，节点表示被路由至专门的专家。每个专家根据其各自的 GNN 工作流程计算表示。可区分 GNN 的定义源于从中心节点出发的 k-局部视图。我们称此过程为图壳注意力 (SEA)，其中专家以受 Transformer 启发的方式处理不同子图。直观上，通过增加专家数量，模型获得更强的表达力，使得节点表示仅基于位于某专家感受野内的节点。我们在多个基准数据集上评估了我们的架构，显示出与最先进模型相比具有竞争力的结果。
引用
@article{arxiv.2110.10674,
title = {SEA: Graph Shell Attention in Graph Neural Networks},
author = {Christian M. M. Frey and Yunpu Ma and Matthias Schubert},
journal= {arXiv preprint arXiv:2110.10674},
year = {2021}
}