图神经网络的瓶颈及其实际影响
机器学习
2021-03-10 v4 机器学习
摘要
自 Gori 等人（2005）与 Scarselli 等人（2008）提出图神经网络（GNN）以来，训练 GNN 的主要问题之一便是其难以在图中相距较远的节点间传播信息。我们为这一问题提出一种新的解释：GNN 在沿长路径聚合消息时易受瓶颈影响。该瓶颈导致呈指数增长的信息被过度压缩进固定大小的向量中。结果，GNN 无法传播源自远距离节点的消息，且在预测任务依赖于长程交互时表现不佳。在本文中，我们凸显 GNN 中过度压缩的固有问题：我们证明该瓶颈阻碍流行 GNN 拟合训练数据中的长程信号；我们进一步表明，均等吸收入边的 GNN（如 GCN 与 GIN）比 GAT 与 GGNN 更易受过度压缩影响；最后，我们展示先前针对长程问题广泛调参的 GNN 工作受制于过度压缩，而打破瓶颈可在无任何调参或额外权重的情况下改善其 SOTA 结果。我们的代码见 https://github.com/tech-srl/bottleneck/ 。
引用
@article{arxiv.2006.05205,
title = {On the Bottleneck of Graph Neural Networks and its Practical Implications},
author = {Uri Alon and Eran Yahav},
journal= {arXiv preprint arXiv:2006.05205},
year = {2021}
}
备注
Accepted to ICLR'2021