GraphiT：在 Transformer 中编码图结构
机器学习
2021-06-11 v1
摘要
我们表明，将图视为节点特征集合并将结构与位置信息融入 transformer 架构，能够超越使用经典图神经网络（GNNs）学习到的表示。我们的模型 GraphiT 通过以下方式编码此类信息：(i) 基于图上正定核在自注意力分数中利用相对位置编码策略，以及 (ii) 枚举并编码短长度路径等局部子结构。我们在许多分类与回归任务上彻底评估了这两个想法，证明了它们各自的有效性以及组合后的效果。除了在标准基准上表现良好外，我们的模型还提供自然的视觉化机制以解释预测背后的图 motif，使其成为解释性重要的科学应用的潜在有力候选。代码见 https://github.com/inria-thoth/GraphiT。
引用
@article{arxiv.2106.05667,
title = {GraphiT: Encoding Graph Structure in Transformers},
author = {Grégoire Mialon and Dexiong Chen and Margot Selosse and Julien Mairal},
journal= {arXiv preprint arXiv:2106.05667},
year = {2021}
}