少即是多：论图 Transformer 中的过度全局化问题

图 Transformer 由于其全局注意力机制，已成为处理图结构数据的新工具。人们普遍认为，全局注意力机制在全连接图中考虑了更宽的感受野，导致许多人相信可以从所有节点中提取有用信息。在本文中，我们挑战了这一信念：全局化特性是否总是有利于图 Transformer？我们通过提供经验证据和理论分析揭示了图 Transformer 中的过度全局化问题，即当前的注意力机制过度关注那些远距离节点，而实际上包含大部分有用信息的近邻节点则被相对削弱。然后，我们提出了一种具有协同训练的双层全局图 Transformer（CoBFormer），包括簇间和簇内 Transformer，以在保持从远距离节点提取有价值信息能力的同时防止过度全局化问题。此外，提出的协同训练在理论保证下提高了模型的泛化能力。在各种图上的大量实验充分验证了我们提出的 CoBFormer 的有效性。