图神经网络中基于度的节点分层
机器学习
2023-12-19 v1
摘要
尽管已有大量研究，图神经网络（GNN）仍未能展现出如卷积神经网络和 Transformer 等其他深度神经网络那样良好的缩放性质。先前的工作已识别出诸如潜在表示的过平滑等问题，并提出了跳跃连接和复杂的归一化方案等解决方法。在此，我们提出一种基于图节点分层的不同方法。我们提供动机说明，图中的节点可以按度分为低度节点和高度节点，且这两组节点可能表现出不同的行为。基于此动机，我们修改了图神经网络（GNN）架构，以便为每组节点分别学习权重矩阵。这种易于实现的修改似乎在多个数据集和 GNN 方法上均能提升性能。为了验证这种性能提升不仅仅归因于增加的模型容量，我们还对节点的随机划分执行了相同的修改，但这并未带来任何性能提升。
引用
@article{arxiv.2312.10458,
title = {Degree-based stratification of nodes in Graph Neural Networks},
author = {Ameen Ali and Hakan Cevikalp and Lior Wolf},
journal= {arXiv preprint arXiv:2312.10458},
year = {2023}
}