图外部注意力增强Transformer
机器学习
2025-04-01 v2
摘要
Transformer架构最近在图表示学习领域引起了广泛关注，因为它通过定制的注意力机制或位置和结构编码，自然地克服了图神经网络（GNN）的若干局限性。尽管取得了一些进展，现有工作往往忽略了图的外部信息，特别是图之间的相关性。直观上，具有相似结构的图应该具有相似的表示。因此，我们提出了图外部注意力（GEA）——一种新颖的注意力机制，它利用多个外部节点/边键值单元来隐式捕获图间相关性。在此基础上，我们设计了一种有效的架构，称为图外部注意力增强Transformer（GEAET），它集成了局部结构和全局交互信息，以获得更全面的图表示。在基准数据集上的大量实验表明，GEAET达到了最先进的实证性能。源代码可在https://github.com/icm1018/GEAET获取，以支持可重复性。
引用
@article{arxiv.2405.21061,
title = {Graph External Attention Enhanced Transformer},
author = {Jianqing Liang and Min Chen and Jiye Liang},
journal= {arXiv preprint arXiv:2405.21061},
year = {2025}
}
备注
In Proceedings of ICML 2024