技术报告：图谱记号——利用谱信息增强图 Transformer
机器学习
2024-04-09 v1
摘要
图 Transformer 已成为消息传递图神经网络（MP-GNNs）的强大替代方案，以解决诸如信息交换的过度压缩等局限性。然而，将图归纳偏置纳入 Transformer 架构仍然是一个重大挑战。在本报告中，我们提出了图谱记号，这是一种直接将捕获图全局结构的图谱信息编码到 Transformer 架构中的新方法。通过对辅助的 [CLS] 记号进行参数化，并保留代表图节点的其他记号，我们的方法将谱信息无缝集成到学习过程中。我们通过增强两个现有的图 Transformer（GraphTrans 和 SubFormer）来对我们的方法的有效性进行基准测试。改进后的 GraphTrans（被称为 GraphTrans-Spec）在大型图基准数据集上取得了超过 10% 的提升，同时保持了与 MP-GNNs 相当的效率。SubFormer-Spec 在各种数据集上均表现出强大的性能。
引用
@article{arxiv.2404.05604,
title = {Technical Report: The Graph Spectral Token -- Enhancing Graph Transformers with Spectral Information},
author = {Zihan Pengmei and Zimu Li},
journal= {arXiv preprint arXiv:2404.05604},
year = {2024}
}
备注
Technical Report. The code is available at https://github.com/zpengmei/SubFormer-Spec