论图神经网络中冗余的双重面向
机器学习
2024-03-29 v2
摘要
消息传递神经网络通过聚合来自邻居节点的信息来迭代生成节点嵌入。随着深度增加，来自更远距离节点的信息被纳入。然而，节点嵌入可能无法准确表示不断增长的节点邻域，且远距离节点的影响可能消失，这一问题被称为过压缩（oversquashing）。消息传递中的信息冗余，即相同信息的重复交换与编码，会加剧过压缩。我们提出了一种基于邻域树的新型聚合方案，该方案通过对标准消息传递所依赖的展开树中的冗余分支进行剪枝来控制冗余。虽然展开树的规则结构允许以直接方式重用中间结果，但邻域树的使用带来了计算挑战。我们提出了邻域树的紧凑表示并将其合并，通过识别同构子树来利用计算冗余。由此，受树规范化技术启发的神经架构计算出节点与图嵌入。我们的方法比传统消息传递神经网络更不易受过压缩影响，并能在广泛使用的基准数据集上提升准确率。
引用
@article{arxiv.2310.04190,
title = {On the Two Sides of Redundancy in Graph Neural Networks},
author = {Franka Bause and Samir Moustafa and Johannes Langguth and Wilfried N. Gansterer and Nils M. Kriege},
journal= {arXiv preprint arXiv:2310.04190},
year = {2024}
}