一种用于图学习的端到端基于注意力的方法
机器学习
2025-06-10 v3 人工智能
摘要
最近，基于 Transformer 的架构在图学习领域激增，这主要是受注意力作为一种有效学习机制的推动，以及希望取代消息传递方案中手工设计算子的愿望。然而，人们对其经验有效性、可扩展性以及预处理步骤的复杂性提出了担忧，特别是相对于通常在各种基准测试中表现与之相当的更简单的图神经网络而言。为了解决这些缺点，我们将图视为边的集合，并提出了一种纯粹基于注意力的方法，该方法由编码器和注意力池化机制组成。编码器垂直交错使用掩码自注意力模块和常规自注意力模块，以学习边的有效表示，同时允许处理输入图中可能存在的错误指定。尽管该方法结构简单，但它在 70 多个节点和图级任务（包括具有挑战性的长程基准测试）上优于微调后的消息传递基线和最近提出的基于 Transformer 的方法。此外，我们展示了在不同任务（从分子图到视觉图，以及异配节点分类）上的最先进性能。该方法在迁移学习设置中也优于图神经网络和 Transformer，并且相比具有相似性能水平或表达能力的替代方案，其可扩展性要好得多。
引用
@article{arxiv.2402.10793,
title = {An end-to-end attention-based approach for learning on graphs},
author = {David Buterez and Jon Paul Janet and Dino Oglic and Pietro Lio},
journal= {arXiv preprint arXiv:2402.10793},
year = {2025}
}
备注
Now published in Nature Communications