Transformer真的在图表示上表现不佳吗？
机器学习
2021-11-25 v5 人工智能
摘要
Transformer架构已成为许多领域(如自然语言处理与计算机视觉)的主导选择。然而，在图级预测的主流排行榜上，其与主流GNN变体相比尚未取得有竞争力的性能。因此，Transformer如何能在图表示学习中表现良好仍是一个谜。在本文中，我们通过提出Graphormer解开了这一谜团，它构建于标准Transformer架构之上，并能在广泛的图表示学习任务上取得优异结果，尤其是在近期的OGB大规模挑战赛上。我们利用Transformer处理图的关键洞见在于：必须将图的结构信息有效编码入模型。为此，我们提出几种简单而有效的结构编码方法，以帮助Graphormer更好地建模图结构数据。此外，我们从数学上刻画了Graphormer的表达能力，并展示通过我们编码图结构信息的方式，许多流行的GNN变体可作为Graphormer的特例被涵盖。
引用
@article{arxiv.2106.05234,
title = {Do Transformers Really Perform Bad for Graph Representation?},
author = {Chengxuan Ying and Tianle Cai and Shengjie Luo and Shuxin Zheng and Guolin Ke and Di He and Yanming Shen and Tie-Yan Liu},
journal= {arXiv preprint arXiv:2106.05234},
year = {2021}
}