基于自适应多邻域注意力的图表示学习 Transformer
机器学习
2022-11-16 v1 社会与信息网络
摘要
通过将图结构信息融入 Transformer，图 Transformer 近年来在图表示学习中展现出良好性能。现有图 Transformer 利用特定策略（如拉普拉斯特征向量与节点对最短路径）来保留节点结构特征，并将其输入原始 Transformer 以学习节点表示。此类预定义规则难以为拓扑结构差异巨大的任意图提取有信息的图结构特征，限制了模型的学习能力。为此，我们提出一种自适应图 Transformer，称为基于多邻域注意力的图 Transformer（MNA-GT），它从多邻域注意力机制中自适应地捕获每个节点的图结构信息。通过将缩放点积的输入定义为注意力核，MNA-GT 基于不同跳数的邻域构建多个注意力核，使每个注意力核能为每个节点对捕获对应邻域的特定图结构信息。以此方式，MNA-GT 可通过整合不同注意力核学到的节点表示高效保留图结构信息。MNA-GT 进一步采用注意力层来学习不同注意力核的重要性，使模型能自适应捕获不同节点的图结构信息。我们在多种图基准上进行了充分实验，实证结果表明 MNA-GT 优于许多强基线。
引用
@article{arxiv.2211.07970,
title = {Adaptive Multi-Neighborhood Attention based Transformer for Graph Representation Learning},
author = {Gaichao Li and Jinsong Chen and Kun He},
journal= {arXiv preprint arXiv:2211.07970},
year = {2022}
}
备注
8 pages, 4 figures, 5 tables, submitted to a conference of 2023