基于谱注意力的图Transformer再思考
机器学习
2021-10-28 v3
摘要
近年来，Transformer架构在序列处理中已被证明非常成功，但由于难以恰当定义位置，其在图等其他数据结构上的应用仍然有限。在此，我们提出（SAN，谱注意力网络），它使用一种可学习的位置编码（LPE），能够利用完整的拉普拉斯谱来学习给定图中每个节点的位置。然后将该LPE加到图的节点特征上，并输入到一个全连接的Transformer中。通过利用拉普拉斯谱的完整谱，我们的模型在区分图方面具有理论上的强大能力，并能从共振中更好地检测相似子结构。此外，通过对图进行全连接，该Transformer不会遭受过度压缩（大多数GNN的信息瓶颈），并能更好地建模热传递和电相互作用等物理现象。在4个标准数据集上的实证测试中，我们的模型表现与最先进的GNN相当或更好，并以较大优势超越任何基于注意力的模型，成为首个在图基准上表现良好的全连接架构。
引用
@article{arxiv.2106.03893,
title = {Rethinking Graph Transformers with Spectral Attention},
author = {Devin Kreuzer and Dominique Beaini and William L. Hamilton and Vincent Létourneau and Prudencio Tossou},
journal= {arXiv preprint arXiv:2106.03893},
year = {2021}
}
备注
Accepted in Proceedings of NeurIPS 2021