从贝叶斯推断视角理解图神经网络中的非线性
机器学习
2022-10-21 v3 社会与信息网络
摘要
图神经网络（GNNs）因其在捕获图结构数据中非线性关系方面的出色能力，在许多图上的预测任务中展现出优越性。然而，对于节点分类任务，通常观察到GNNs相对于其线性对应模型仅有边际改进。先前工作对这一现象的理解甚少。在本工作中，我们借助贝叶斯学习深入探究GNNs中非线性在节点分类任务中的作用。给定一个由统计模型CSBM生成的图，我们观察到在给定节点自身及邻居属性下节点标签的最大后验估计由两类非线性组成：可能对节点属性进行的非线性变换，以及来自邻居的经ReLU激活的特征聚合。后者惊人地匹配许多GNN模型中所用的非线性类型。通过进一步对节点属性施加高斯假设，我们证明那些ReLU激活的优越性仅在节点属性远比图结构更具信息量时才显著，这与许多先前的经验观测高度吻合。当训练与测试数据集间存在节点属性分布偏移时，也可得到类似结论。最后，我们在合成与真实世界网络上验证了我们的理论。
引用
@article{arxiv.2207.11311,
title = {Understanding Non-linearity in Graph Neural Networks from the Bayesian-Inference Perspective},
author = {Rongzhe Wei and Haoteng Yin and Junteng Jia and Austin R. Benson and Pan Li},
journal= {arXiv preprint arXiv:2207.11311},
year = {2022}
}