GAT 是否失衡?
机器学习
2023-10-26 v2
摘要
尽管图神经网络(GNNs)的表达能力与计算能力已得到理论研究,其优化与学习动力学总体上仍很大程度上未被探索。我们的研究着眼于图注意力网络(GAT)——一种节点邻域聚合由参数化注意力系数加权的流行 GNN 架构。我们推导了 GAT 梯度流动力学的一个守恒律,其解释了为何标准初始化下 GAT 中很高比例的参数在训练期间难以改变。该效应在更深的 GAT 中被放大,其性能显著劣于浅层对应网络。为缓解此问题,我们设计了一种平衡 GAT 网络的初始化方案。我们的方法 i) 允许梯度更有效地传播,进而使更深网络可训练;ii) 相较于标准初始化,在训练与收敛时间上取得可观加速。我们的主要定理可作为研究具有注意力机制的正齐次模型学习动力学的垫脚石。
引用
@article{arxiv.2310.07235,
title = {Are GATs Out of Balance?},
author = {Nimrah Mustafa and Aleksandar Bojchevski and Rebekka Burkholz},
journal= {arXiv preprint arXiv:2310.07235},
year = {2023}
}
备注
25 pages. To be published in Advances in Neural Information Processing Systems (NeurIPS), 2023