用于图表示学习的图传播 Transformer
机器学习
2024-10-10 v3 人工智能
摘要
本文提出一种用于图表示学习的新型 transformer 架构。我们方法的核心洞见是：在构建 transformer 块中的注意力模块时，充分考量图中节点与边之间的信息传播。具体而言，我们提出一种称为图传播注意力（GPA）的新注意力机制。它以节点到节点、节点到边、边到节点三种方式显式地在节点与边间传递信息，这对学习图结构数据至关重要。在此基础上，我们设计了一种有效的 transformer 架构，名为图传播 Transformer（GPTrans），以进一步辅助图数据学习。我们在多个基准数据集上的广泛图学习实验中验证了 GPTrans 的性能。结果表明，我们的方法以更优性能超越了众多最先进的基于 transformer 的图模型。代码将发布于 https://github.com/czczup/GPTrans。
引用
@article{arxiv.2305.11424,
title = {Graph Propagation Transformer for Graph Representation Learning},
author = {Zhe Chen and Hao Tan and Tao Wang and Tianrun Shen and Tong Lu and Qiuying Peng and Cheng Cheng and Yue Qi},
journal= {arXiv preprint arXiv:2305.11424},
year = {2024}
}
备注
Accepted to IJCAI 2023