用于图表示学习的结构感知 Transformer
机器学习
2022-06-14 v3 机器学习
摘要
Transformer 架构近来在图表示学习中获得越来越多的关注，因为它自然克服了图神经网络（GNNs）的若干局限，避免其严格的结构归纳偏置，而仅通过位置编码来编码图结构。在此，我们表明带有位置编码的 Transformer 所生成的节点表示未必能捕捉它们之间的结构相似性。为解决此问题，我们提出了结构感知 Transformer，一类构建于新型自注意力机制之上的简单而灵活的图 Transformer。该新自注意力通过在计算注意力之前提取以各节点为根的子图表示，将结构信息融入原始自注意力。我们提出了几种自动生成子图表示的方法，并从理论上证明所得表示至少与子图表示同样具有表达能力。在经验上，我们的方法在五个图预测基准上达到了最先进（SOTA）性能。我们的结构感知框架可利用任何现有 GNN 来提取子图表示，并且我们表明它相对于基础 GNN 模型系统地提升了性能，成功结合了 GNNs 与 Transformers 的优势。我们的代码可在 https://github.com/BorgwardtLab/SAT 获取。
引用
@article{arxiv.2202.03036,
title = {Structure-Aware Transformer for Graph Representation Learning},
author = {Dexiong Chen and Leslie O'Bray and Karsten Borgwardt},
journal= {arXiv preprint arXiv:2202.03036},
year = {2022}
}
备注
To appear in ICML 2022