以平流扩散增强图 Transformer

泛化能力是现代学习系统成功的基石。对于特别涉及拓扑结构的非欧几里得数据（如图），先前研究忽视的一个重要方面是机器学习模型在拓扑偏移下如何泛化。本文提出平流扩散Transformer（AdvDIFFormer），一种受物理启发的图Transformer模型，旨在应对该挑战。该模型源自平流扩散方程，其描述了一类具有可观测与潜在拓扑结构的连续消息传递过程。我们证明AdvDIFFormer具有可证明的控制拓扑偏移下泛化误差的能力，而图扩散模型（即连续空间中常见图神经网络的广义表述）则无法保证这一点。在经验上，该模型在信息网络、分子筛选与蛋白质相互作用的各类预测任务中展现出优越性。