All in One and One for All：一种简单有效的跨领域图预训练方法

大型语言模型 (LLMs) 彻底改变了计算机视觉 (CV) 和自然语言处理 (NLP) 领域。LLMs 最显著的进展之一是单个模型在跨越多个领域的庞大且多样化的数据集上进行训练——我们称之为“All in One”范式。这种方法赋予了 LLMs 超级的泛化能力，促进了对各种数据分布的全面理解。利用这些能力，单个 LLM 在各种领域展现出了非凡的多功能性——我们称之为“One for All”范式。然而，将这一思想应用于图领域仍然是一个巨大的挑战，跨领域预训练通常会导致负迁移。这个问题在少样本学习场景中尤为重要，因为训练数据的稀缺需要引入外部知识源。为了应对这一挑战，我们提出了一种名为图预训练协调器 (GCOPE) 的新方法，该方法利用不同图数据集之间的潜在共性来增强少样本学习。我们的新方法涉及一个统一框架，该框架在预训练阶段合并不同的图数据集，以提取并将有意义的知识转移到目标任务中。在多个图数据集上的大量实验证明了我们方法的卓越有效性。通过成功利用多个图数据集的协同潜力进行预训练，我们的工作成为图基础模型领域的开创性贡献。