论高阶图 Transformer 的理论表达能力与设计空间

图 Transformer 近期在图学习中受到了广泛关注，部分原因在于其能够通过自注意力捕获更全局的交互。然而，尽管高阶图神经网络已被较好地研究，但将图 Transformer 扩展至高阶变体的探索才刚刚开始，理论理解与实验结果均较为有限。本文对 $k$ 阶图 Transformer 及其稀疏变体的理论表达能力进行了系统研究。我们首先证明，在没有附加结构信息的情况下，$k$ 阶图 Transformer 尽管计算成本高昂，其表达能力却弱于 $k$-Weisfeiler Lehman ($k$-WL) 测试。随后，我们探索了稀疏化与增强高阶图 Transformer 的策略，旨在同时提升其效率与表达能力。事实上，基于邻域信息的稀疏化可以增强表达能力，因为它提供了关于输入图结构的附加信息。特别地，我们证明了一种基于邻域的自然稀疏 $k$ 阶 Transformer 模型不仅计算高效，而且具有与 $k$-WL 测试相当的表达能力。我们进一步研究了几种其他计算高效的稀疏图注意力模型，并提供了其表达能力分析。最后，我们给出了实验结果以展示不同稀疏化策略的有效性。