中文

AGFormer:基于锚图的高效图表示Transformer

机器学习 2023-05-15 v1

摘要

为缓解GCN的局部感受野问题,Transformer已被用于捕获图数据表示与学习中节点的长程依赖。然而,现有图Transformer通常对所有节点间消息传递采用常规自注意力模块,需学习所有节点对之间的亲和度/关系,导致高计算成本问题。此外,它们通常对图噪声敏感。为克服该问题,我们提出一种新颖的图Transformer架构,称为锚图Transformer(AGFormer),其利用了锚图模型。具体而言,AGFormer首先获取若干代表性锚点,然后将节点到节点的消息传递转换为锚到锚以及锚到节点的消息传递过程。因此,AGFormer比常规节点到节点Transformer更高效且更鲁棒。在多个基准数据集上的大量实验证明了所提AGFormer的有效性与优势。

关键词

引用

@article{arxiv.2305.07521,
  title  = {AGFormer: Efficient Graph Representation with Anchor-Graph Transformer},
  author = {Bo Jiang and Fei Xu and Ziyan Zhang and Jin Tang and Feiping Nie},
  journal= {arXiv preprint arXiv:2305.07521},
  year   = {2023}
}