无文本多领域图预训练：迈向图基础模型

鉴于图数据的普遍性，一个有趣的问题是：是否可能在一个跨不同领域的广泛图数据上训练一个图基础模型？实现这一目标的一个主要障碍在于，来自不同领域的图通常表现出截然不同的特征。尽管在整合多领域图进行预训练方面已有一些初步努力，但它们主要依赖文本描述来对齐图，从而限制了它们在文本属性图上的应用。此外，不同的源领域可能相互冲突或干扰，并且它们与目标领域的相关性可能差异很大。为了解决这些问题，我们提出了MDGPT，一个无文本的多领域图预训练与适应框架，旨在利用多领域知识进行图学习。首先，我们提出一组领域令牌来对齐源领域之间的特征，以实现协同预训练。其次，我们提出双提示，包括一个统一提示和一个混合提示，以进一步将目标领域与统一的多领域知识和定制的领域特定知识混合物相适应。最后，我们进行了涉及六个公共数据集的广泛实验来评估和分析MDGPT，其性能优于先前技术高达37.9%。