揭开图神经网络中的结构差异之谜：能否一刀切？
机器学习
2023-10-17 v3 人工智能
摘要
近期关于图神经网络（GNNs）的研究提供了经验和理论证据，支持其在同配图和某些异配图上捕捉结构模式的有效性。值得注意的是，大多数现实世界的同配和异配图都由同配和异配结构模式的节点混合组成，表现出结构差异。然而，关于GNN在具有不同结构模式（如同配图中的异配节点）的节点上的性能分析仍然相当有限。在本研究中，我们提供证据表明，图神经网络（GNNs）在节点分类中通常在同配图中的同配节点和异配图中的异配节点上表现良好，而在相反节点集上表现不佳，呈现出性能差异。我们从理论和经验上识别了GNNs对具有不同结构模式的测试节点的影响。然后我们提出了一种严格的非独立同分布（non-i.i.d）PAC-Bayesian泛化界用于GNNs，揭示了性能差异的原因，即训练节点与测试节点之间的聚合特征距离和同配比率差异。此外，我们通过以下方式展示了我们新发现的实践意义：(1) 阐明更深层次GNNs的有效性；以及 (2) 揭示图分布外问题中一个被忽视的分布偏移因素并据此提出新场景。
引用
@article{arxiv.2306.01323,
title = {Demystifying Structural Disparity in Graph Neural Networks: Can One Size Fit All?},
author = {Haitao Mao and Zhikai Chen and Wei Jin and Haoyu Han and Yao Ma and Tong Zhao and Neil Shah and Jiliang Tang},
journal= {arXiv preprint arXiv:2306.01323},
year = {2023}
}
备注
55 pages, 24 figures. arXiv admin note: text overlap with arXiv:2106.15535 by other authors