从概率图模型视角理解与改进深度图神经网络
机器学习
2023-01-26 v1
摘要
近年来，为下游任务设计的基于图的模型显著推进了图神经网络（GNN）的研究。基于神经消息传递机制（如GCN和GAT）的GNN基线模型随着网络加深性能变差。因此，人们提出了众多GNN变体来解决这一性能退化问题，其中包括许多深度GNN。然而，仍缺乏一个统一框架来连接这些现有模型并从高层解释其有效性。本工作中，我们聚焦于深度GNN并提出了一种理解它们的新视角。我们通过马尔可夫随机场上的变分推断推导出的不动点方程（FPE），建立了一个理论框架。在此框架下，深度GNN（包括JKNet、GCNII、DGCN）以及经典GNN（如GCN、GAT、APPNP）均可视为FPE的不同近似。此外，基于该框架，我们给出了FPE更精确的近似，从而指导我们设计了一个更强大的GNN：耦合图神经网络（CoGNet）。我们在引文网络和自然语言处理下游任务上进行了大量实验。结果表明CoGNet优于SOTA模型。
引用
@article{arxiv.2301.10536,
title = {Understanding and Improving Deep Graph Neural Networks: A Probabilistic Graphical Model Perspective},
author = {Jiayuan Chen and Xiang Zhang and Yinfei Xu and Tianli Zhao and Renjie Xie and Wei Xu},
journal= {arXiv preprint arXiv:2301.10536},
year = {2023}
}