通用图 Transformer 自注意力网络
机器学习
2022-03-09 v9 计算机视觉与模式识别
机器学习
摘要
我们引入一种基于 Transformer 的 GNN 模型，名为 UGformer，以学习图表示。具体而言，我们提出两种 UGformer 变体，其中第一变体（于 2019 年 9 月公开）是对每个输入节点的一组采样邻居利用 Transformer，而第二变体（于 2021 年 5 月公开）是对所有输入节点利用 Transformer。实验结果表明，第一 UGformer 变体在归纳式设定和无监督转导式设定的图分类基准数据集上达到了最先进的准确率；第二 UGformer 变体在归纳式文本分类上获得了最先进的准确率。代码可在以下地址获取：\url{https://github.com/daiquocnguyen/Graph-Transformer}。
引用
@article{arxiv.1909.11855,
title = {Universal Graph Transformer Self-Attention Networks},
author = {Dai Quoc Nguyen and Tu Dinh Nguyen and Dinh Phung},
journal= {arXiv preprint arXiv:1909.11855},
year = {2022}
}
备注
Accepted to The ACM Web Conference 2022 (WWW '22) (Poster and Demo Track)