扩散图注意力
机器学习
2023-03-02 v1
摘要
图机器学习的 dominant 范式使用消息传递图神经网络（MP-GNN），其中节点表示通过其局部邻域中的信息聚合来更新。最近，为解决 MP-GNN 某些已知局限，将 Transformer 架构适配到图上的尝试日益增多。设计图 Transformer 的一个挑战性方面是将任意图结构整合进架构中。我们提出图扩散器（Graph Diffuser, GD）以应对该挑战。GD 学习提取图中远距离节点之间的结构与位置关系，并据此引导 Transformer 的注意力和节点表示。我们展示了现有 GNN 和图 Transformer 难以捕捉长程交互，以及图扩散器如何在提供直观可视化的同时做到这一点。在八个基准上的实验表明图扩散器是一个极具竞争力的模型，在多种不同领域中优于 state-of-the-art。
引用
@article{arxiv.2303.00613,
title = {Diffusing Graph Attention},
author = {Daniel Glickman and Eran Yahav},
journal= {arXiv preprint arXiv:2303.00613},
year = {2023}
}