关于图卷积网络的全局自注意力机制
机器学习
2020-10-22 v1 机器学习
摘要
在卷积神经网络（CNN）的特征上应用全局自注意力（GSA）机制已取得显著成功。然而，图卷积网络（GCN）是否能类似地从该技术中获益尚不清楚。本文受 CNN 与 GCN 之间相似性的启发，研究了全局自注意力机制对 GCN 的影响。我们发现，与直觉一致，GSA 机制使 GCN 能够捕获基于特征的顶点关系而不受边连接的限制；因此，GSA 机制可为 GCN 引入额外的表达能力。此外，我们分析了 GSA 机制对过拟合与过平滑问题的影响。基于近期的一些技术发展，我们证明 GSA 机制可缓解过拟合与过平滑问题。在多个基准数据集上的实验表明，GSA 增强的 GCN 具有更优的表达能力以及更不显著的过拟合与过平滑问题，这印证了直觉与理论结果。
引用
@article{arxiv.2010.10711,
title = {On the Global Self-attention Mechanism for Graph Convolutional Networks},
author = {Chen Wang and Chengyuan Deng},
journal= {arXiv preprint arXiv:2010.10711},
year = {2020}
}