Transformer 在图频谱域上的表达能力如何?
机器学习
2022-07-19 v4
摘要
近期提出基于 transformer 的图模型的工作已证明原始 Transformer 不适用于图表示学习。为理解这一不足,有必要研究对 transformer 的频谱分析是否会揭示其表达能力的洞见。类似研究已确立,对图神经网络(GNNs)的频谱分析为其表达能力提供了额外视角。在这项工作中,我们系统性地研究并建立了 transformer 领域中空间域与频谱域的联系。我们进一步提供理论分析并证明,transformer 中的空间注意力机制无法有效捕捉期望的频率响应,从而从根本上限制了其在频谱空间中的表达能力。因此,我们提出 FeTA,一个旨在对整个图频谱(即图的实际频率分量)执行注意力的框架,类似于空间中的注意力。实证结果表明,FeTA 在标准基准的所有任务上相对原始 transformer 提供了一致的性能提升,并且可以容易地扩展到具有低通特性的基于 GNN 的模型(例如 GAT)。
引用
@article{arxiv.2201.09332,
title = {How Expressive are Transformers in Spectral Domain for Graphs?},
author = {Anson Bastos and Abhishek Nadgeri and Kuldeep Singh and Hiroki Kanezashi and Toyotaro Suzumura and Isaiah Onando Mulang'},
journal= {arXiv preprint arXiv:2201.09332},
year = {2022}
}
备注
Accepted in Transactions on Machine Learning Research