隐式图神经网络中的图信息消失现象
机器学习
2021-03-03 v1 社会与信息网络
摘要
GNN（图神经网络）的一个关键问题是如何在聚合过程中描述邻居节点对于学习节点表示的重要性。一类 GNN 通过学习隐式权重来表示邻居节点的重要性，我们称之为隐式 GNN，例如图注意力网络（Graph Attention Network）。隐式 GNN 的基本思想是引入具有特殊性质的图信息，随后通过可学习变换结构（Learnable Transformation Structures, LTS）以数据驱动的方式编码邻居节点的重要性。在本文中，我们指出 LTS 使得图信息的特殊性质在学习过程中消失，导致图信息对学习节点表示无益。我们称此现象为图信息消失（Graph Information Vanishing, GIV）。此外，我们发现 LTS 将不同的图信息映射为高度相似的结果。为验证上述两点，我们基于随机置换算子随机打乱图信息顺序以及用随机值替换图信息，在五种隐式 GNN 方法和七个基准数据集上设计了两组共 70 个随机实验。我们发现随机化在 93% 的情况下不影响模型性能，约 7% 的情况导致平均 0.5% 的准确率损失。且 LTS 映射不同图信息所产生的输出结果的余弦相似度超过 99%，其中比例为 81%。实验结果提供了支持隐式 GNN 中存在 GIV 的证据，并暗示现有隐式 GNN 方法并未很好地利用图信息。应重新思考图信息与 LTS 之间的关系，以确保图信息被用于节点表示。
引用
@article{arxiv.2103.01770,
title = {Graph Information Vanishing Phenomenon inImplicit Graph Neural Networks},
author = {Haifeng Li and Jun Cao and Jiawei Zhu and Qing Zhu and Guohua Wu},
journal= {arXiv preprint arXiv:2103.01770},
year = {2021}
}