基于后验采样节点自适应残差模块的深层图神经网络
机器学习
2024-11-01 v3 人工智能
摘要
图神经网络（GNNs）是一类可通过邻域信息聚合从图结构数据中学习的神经网络，在各种下游任务中展现出优越性能。然而，随着层数增加，节点表示变得不可区分，即所谓的过平滑问题。为解决该问题，许多残差方法相继出现。本文关注过平滑问题及相关残差方法。首先，我们从重叠邻域子图的角度重新审视过平滑，并基于此解释残差方法如何通过整合多阶邻域子图来避免单一高阶邻域子图的不可区分性，从而缓解过平滑。此外，我们揭示了先前残差方法的缺陷，如缺乏节点自适应性和高阶邻域子图信息的严重丢失，并提出了一种基于后验采样的节点自适应残差模块（PSNR）。我们从理论上证明PSNR能缓解先前残差方法的缺陷。此外，大量实验验证了PSNR模块在完全观测节点分类和缺失特征场景下的优越性。我们的代码可在 https://github.com/jingbo02/PSNR-GNN 获取。
引用
@article{arxiv.2305.05368,
title = {Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module},
author = {Jingbo Zhou and Yixuan Du and Ruqiong Zhang and Jun Xia and Zhizhi Yu and Zelin Zang and Di Jin and Carl Yang and Rui Zhang and Stan Z. Li},
journal= {arXiv preprint arXiv:2305.05368},
year = {2024}
}
备注
NeurIPS2024