论 MPNN 与图 Transformer 之间的联系

图 Transformer (GT) 近来已成为图学习算法的新范式，在多个基准上优于先前流行的消息传递神经网络 (MPNN)。先前工作 (Kim et al., 2022) 表明，借助适当的位置嵌入，GT 可任意好地逼近 MPNN，意味着 GT 至少与 MPNN 同样强大。本文中我们研究逆联系，并表明带虚拟节点 (VN) 的 MPNN——一种常用却鲜有理论理解的启发式方法——足以任意逼近 GT 的自注意力层。具体而言，我们首先表明，若考虑一类线性 Transformer，即所谓 Performer/Linear Transformer (Choromanski et al., 2020; Katharopoulos et al., 2020)，则仅具 O(1) 深度与 O(1) 宽度的 MPNN + VN 可逼近 Performer/Linear Transformer 中的自注意力层。接着，经由 MPNN + VN 与 DeepSets 的联系，我们证明具有 O(n^d) 宽度与 O(1) 深度的 MPNN + VN 可任意好地逼近自注意力层，其中 d 为输入特征维数。最后，在某些假设下，我们给出具有 O(1) 宽度与 O(n) 深度、任意好逼近 GT 中自注意力层的 MPNN + VN 的显式构造。在实证方面，我们证明：1) MPNN + VN 是令人惊讶的强基线，在近期提出的长程图基准 (LRGB) 数据集上优于 GT；2) 我们的 MPNN + VN 在广泛 OGB 数据集上较早期实现有所提升；3) MPNN + VN 在气候建模任务上优于 Linear Transformer 与 MPNN。