通过聚类泛化学习图神经网络的不变表示
机器学习
2024-03-07 v1
摘要
图神经网络（GNNs）由于能够通过聚合局部结构信息学习节点表示，在建模图结构数据方面越来越受欢迎。然而，人们广泛认识到，测试图结构可能与训练图结构不同，从而导致结构偏移。在本文中，我们通过实验发现，当发生结构偏移时，GNNs 的性能显著下降，这表明学习到的模型可能偏向于特定的结构模式。为了解决这一挑战，我们提出了聚类信息转移（CIT）机制（代码见 https://github.com/BUPT-GAMMA/CITGNN），该机制可以为 GNNs 学习不变表示，从而提高其对具有结构偏移的各种未知测试图的泛化能力。CIT 机制通过将不同的聚类信息与节点结合，同时保留其独立于聚类的信息来实现这一点。通过在不同聚类间生成节点，该机制显著增强了节点的多样性，并帮助 GNNs 学习不变表示。我们对 CIT 机制进行了理论分析，表明在结构偏移期间改变聚类的影响可以在转移后得到缓解。此外，所提出的机制是一个插件，可以轻松用于改进现有的 GNNs。我们在三种典型的结构偏移场景中对所提出的方法进行了全面评估，证明了其在增强 GNNs 性能方面的有效性。
引用
@article{arxiv.2403.03599,
title = {Learning Invariant Representations of Graph Neural Networks via Cluster Generalization},
author = {Donglin Xia and Xiao Wang and Nian Liu and Chuan Shi},
journal= {arXiv preprint arXiv:2403.03599},
year = {2024}
}