纯 Transformer 是强大的图学习器
机器学习
2022-10-25 v2 人工智能
摘要
我们表明，未经图特定修改的标准 Transformer 在理论上和实践中都可以在图学习中带来有前景的结果。给定一张图，我们简单地将所有节点和边视为独立 token，用 token 嵌入增强它们，并将其输入 Transformer。通过适当选择 token 嵌入，我们证明该方法在理论上至少与由等变线性层组成的不变量图网络（2-IGN）一样具有表达能力，而后者已经比所有消息传递图神经网络（GNN）更具表达能力。当在大规模图数据集（PCQM4Mv2）上训练时，我们命名为 Tokenized Graph Transformer（TokenGT）的方法相比 GNN 基线取得了显著更好的结果，并且与具有复杂图特定归纳偏置的 Transformer 变体相比具有竞争力。我们的实现可在 https://github.com/jw9730/tokengt 获取。
引用
@article{arxiv.2207.02505,
title = {Pure Transformers are Powerful Graph Learners},
author = {Jinwoo Kim and Tien Dat Nguyen and Seonwoo Min and Sungjun Cho and Moontae Lee and Honglak Lee and Seunghoon Hong},
journal= {arXiv preprint arXiv:2207.02505},
year = {2022}
}
备注
26 pages, 8 figures