论图 Transformer 的结构表达能力
机器学习
2023-05-24 v1 人工智能
摘要
图 Transformer 近来凭借其卓越性能受到研究界的广泛关注，但其结构表达能力尚未得到充分分析。受 Weisfeiler-Lehman (WL) 图同构测试与图神经网络 (GNN) 之间联系的启发，我们提出了 \textbf{SEG-WL 测试}（\textbf{S}tructural \textbf{E}ncoding enhanced \textbf{G}lobal \textbf{W}eisfeiler-\textbf{L}ehman test，结构编码增强的全局 WL 测试），这是一种广义的图同构测试算法，可作为探索图 Transformer 结构判别能力的强大理论工具。我们从理论上证明，SEG-WL 测试是广泛一类图 Transformer 的表达能力上界，并且在某些条件下 SEG-WL 测试的表达能力可被一个简单的 Transformer 网络任意逼近。借助 SEG-WL 测试，我们展示了图 Transformer 的表达能力如何由结构编码的设计所决定，并给出了使图 Transformer 表达能力超越 WL 测试与 GNN 的条件。此外，受流行的短路径距离编码启发，我们遵循理论导向原则，提出了一种可证明更强的结构编码方法——最短路径诱导子图（\textit{SPIS}）编码。我们的理论发现为研究图 Transformer 的表达能力提供了一种新颖且实用的范式，大量合成与真实世界实验从经验上验证了所提方法的优势。
引用
@article{arxiv.2305.13987,
title = {On Structural Expressive Power of Graph Transformers},
author = {Wenhao Zhu and Tianyu Wen and Guojie Song and Liang Wang and Bo Zheng},
journal= {arXiv preprint arXiv:2305.13987},
year = {2023}
}