GTC：面向自监督异质图表示的GNN-Transformer协同对比学习
机器学习
2024-03-26 v1 信息检索
摘要
图神经网络（GNNs）因其消息传递机制强大的局部信息聚合能力，已成为各种图任务的最有力武器。然而，过度平滑问题一直阻碍着GNNs向更深层次发展并捕获多跳邻居信息。与GNNs不同，Transformer可以通过多头自注意力机制对全局信息和多跳交互进行建模，并且合适的Transformer结构对过度平滑问题表现出更强的免疫力。因此，我们能否提出一种新颖的框架来结合GNN和Transformer，融合GNN的局部信息聚合能力和Transformer的全局信息建模能力，以消除过度平滑问题？为实现这一目标，本文提出了一种GNN-Transformer协同学习方案，并构建了GTC架构。GTC利用GNN和Transformer分支分别从不同视角编码节点信息，并基于编码的跨视角信息建立对比学习任务，以实现自监督的异质图表示。对于Transformer分支，我们提出了Metapath-aware Hop2Token和CG-Hetphormer，它们可以与GNN协同，从不同层次注意地编码邻域信息。据我们所知，这是图表示学习领域首次尝试同时利用GNN和Transformer协同捕获不同视角信息并进行跨视角对比学习。在真实数据集上的实验表明，与最先进的方法相比，GTC表现出优越的性能。代码可在https://github.com/PHD-lanyu/GTC获取。
引用
@article{arxiv.2403.15520,
title = {GTC: GNN-Transformer Co-contrastive Learning for Self-supervised Heterogeneous Graph Representation},
author = {Yundong Sun and Dongjie Zhu and Yansong Wang and Zhaoshuo Tian},
journal= {arXiv preprint arXiv:2403.15520},
year = {2024}
}