更多层是否有利于图Transformer？
机器学习
2023-03-02 v1
摘要
尽管加深在许多神经架构中已被证明是成功的，但现有的图Transformer相对较浅。在这项工作中，我们探讨更多层是否有利于图Transformer，并发现当前的图Transformer受到通过增加深度来提升性能的瓶颈限制。我们的进一步分析揭示其原因是对全局注意力的消失能力的限制，限制了图Transformer关注关键子结构并获得富有表现力的特征。为此，我们提出了一种名为DeepGraph的新型图Transformer模型，该模型在编码表示中显式地使用子结构令牌，并对相关节点应用局部注意力以获得基于子结构的注意力编码。我们的模型增强了全局注意力关注子结构的能力，并提升了表示的表现力，解决了自注意力随图Transformer加深而出现的局限性。实验表明，我们的方法解除了图Transformer的深度限制，并在各种图基准上以更深的模型取得了最先进的性能。
引用
@article{arxiv.2303.00579,
title = {Are More Layers Beneficial to Graph Transformers?},
author = {Haiteng Zhao and Shuming Ma and Dongdong Zhang and Zhi-Hong Deng and Furu Wei},
journal= {arXiv preprint arXiv:2303.00579},
year = {2023}
}
备注
ICLR 2023