利用对比学习增强标记化图变换器中节点的表示
机器学习
2025-02-18 v2
摘要
尽管标记化图变换器在节点分类任务中显示出强大的性能，但其依赖于基于节点相似性得分较高的子集构建标记序列，忽视了来自其他节点的有价值信息，阻碍了其充分利用图信息以学习最优节点表示。为此，我们提出一种新颖的图变换器，称为GCFormer。与以往方法不同，GCFormer开发了混合token生成器，以创建两种类型的token序列（正向和负向），以捕获图的多样化信息。同时，采用针对性的基于Transformer的主干网络，从这些生成的token序列中学习有意义的节点表示。此外，GCFormer引入对比学习，从正向和负向token序列中提取有价值信息，增强所学节点表示的质量。广泛的实验结果显示，在包括同质性和异质性图在内的各种数据集上，GCFormer在节点分类任务中优于代表性图神经网络（GNN）和图变换器。
关键词
引用
@article{arxiv.2406.19258,
title = {Leveraging Contrastive Learning for Enhanced Node Representations in Tokenized Graph Transformers},
author = {Jinsong Chen and Hanpeng Liu and John E. Hopcroft and Kun He},
journal= {arXiv preprint arXiv:2406.19258},
year = {2025}
}
备注
Accepted by NeurIPS 2024