Gophormer：用于节点分类的自我图Transformer
机器学习
2021-10-26 v1
摘要
Transformer在自然语言处理和计算机视觉等诸多领域取得了卓越性能。然而，在图神经网络（GNN）一直作为主导范式的图挖掘领域，Transformer尚未取得有竞争力的性能，尤其是在节点分类任务上。现有的图Transformer模型通常对整个输入图采用全连接注意力机制，因而存在严重的可扩展性问题，并且在数据不足的情况下难以训练。为缓解这些问题，我们提出了一种新颖的Gophormer模型，该模型在自我图（ego-graph）而非全图上应用Transformer。具体而言，我们提出Node2Seq模块来采样自我图作为Transformer的输入，这缓解了可扩展性挑战，并作为一种有效的数据增强技术来提升模型性能。此外，不同于原始Transformer中基于特征的注意力策略，我们提出了一种邻近增强注意力机制来捕捉细粒度的结构偏置。为处理自我图采样引入的不确定性，我们进一步分别提出了一种一致性正则化和多样本推理策略，以实现稳定的训练和测试。在六个基准数据集上的大量实验证明了Gophormer相对于现有图Transformer和流行GNN的优越性，揭示了图Transformer的光明前景。
引用
@article{arxiv.2110.13094,
title = {Gophormer: Ego-Graph Transformer for Node Classification},
author = {Jianan Zhao and Chaozhuo Li and Qianlong Wen and Yiqi Wang and Yuming Liu and Hao Sun and Xing Xie and Yanfang Ye},
journal= {arXiv preprint arXiv:2110.13094},
year = {2021}
}