重新思考用于节点分类的分词图 Transformer
机器学习
2025-02-13 v1 人工智能
摘要
分词图 Transformer（GT）在节点分类中已展现出有前景的性能。令牌序列的生成是现有分词 GT 中的关键模块，它将输入图转换为令牌序列，通过 Transformer 促进节点表示学习。在本文中，我们观察到现有 GT 中令牌序列的生成仅关注所构建相似图上的第一阶邻居，这导致用于生成多样化令牌序列的节点使用有限，进一步限制了分词 GT 在节点分类中的潜力。为此，我们提出了一种名为 SwapGT 的新方法。SwapGT 首先引入一种基于令牌序列特征的新型令牌交换操作，充分利用节点的语义相关性以生成更具信息量的令牌序列。然后，SwapGT 利用基于 Transformer 的骨干网络从生成的令牌序列中学习节点表示。此外，SwapGT 开发了中心对齐损失来约束来自多个令牌序列的表示学习，进一步增强模型性能。在各种数据集上的大量实证结果展示了 SwapGT 在节点分类方面的优越性。
引用
@article{arxiv.2502.08101,
title = {Rethinking Tokenized Graph Transformers for Node Classification},
author = {Jinsong Chen and Chenyang Li and GaiChao Li and John E. Hopcroft and Kun He},
journal= {arXiv preprint arXiv:2502.08101},
year = {2025}
}
备注
Preprint version