图变压器的稀疏与稠密注意力：规模化比较研究
机器学习
2025-08-26 v1 人工智能
摘要
图已成为机器学习中捕获关系和结构数据的中心表示。传统图神经网络常因其局部结构而难以捕获节点之间的长程依赖关系。图变压器通过注意力机制实现全局信息交换，从而克服了这一限制。然而，图变压器中存在两种注意力类型：稠密注意力和稀疏注意力。本文比较了这两种注意力机制，分析了它们的权衡，并阐明了何时应使用每种机制。我们还概述了当前在设计图变压器注意力方面的挑战和问题。
引用
@article{arxiv.2508.17175,
title = {Scaling Graph Transformers: A Comparative Study of Sparse and Dense Attention},
author = {Leon Dimitrov},
journal= {arXiv preprint arXiv:2508.17175},
year = {2025}
}