AnyGraph: 野图上的图基础模型

以图结构组织的关联数据的日益普及凸显了对具有卓越泛化能力的图学习模型的需求。然而，现有方法往往难以有效提取可泛化的洞见，通常需要大量微调并限制了其 versatility。图基础模型提供了一种变革性的解决方案，有潜力从图数据中学习鲁棒、可泛化的表示，从而在广泛的任务和领域中实现更有效和更灵活的应用。在本工作中，我们研究了一种统一的图模型AnyGraph，旨在应对以下关键挑战：i) 结构异质性——处理图结构信息中的分布偏移；ii) 特征异质性——处理图数据集间多样的特征表示空间；iii) 快速适应——高效地将模型适配到新图域；iv) 缩放定律涌现——使模型性能随数据量和参数规模呈有利缩放。为应对这些关键挑战，我们基于图混合专家（MoE）架构构建AnyGraph。该方法赋予模型有效管理结构层面和特征层面异质性的能力，涵盖域内和跨域分布偏移。此外，提出了一种轻量级图专家路由机制以促进AnyGraph对新数据和域的快速适应。我们在38个多样化图数据集上的广泛实验展示了AnyGraph在具有显著分布偏移的多样化图域中的强大零样本学习能力。此外，我们验证了模型的快速适应能力和缩放定律涌现，展示了其 versatility。