基于图的 foundation 模型：预训练图神经网络跨数据集迁移分析

为了 developing 对 Graph Foundation Models 的初步理解，我们研究预训练图神经网络可否跨数据集应用，这需要对数据集特定特征及其编码保持 agnostic。我们在纯结构预训练方法基础上提出了一种扩展，旨在捕获特征信息，同时仍保持 feature-agnostic。我们在不同训练样本数量和不同预训练数据集选择下，对预训练模型在下游任务上的表现进行评估。我们的初步结果表明，预训练模型的嵌入只有在足够的下游数据点且取决于预训练数据的数量和属性时，才能改善泛化。在特征信息可能导致改进，但目前需要预训练和下游特征空间之间某些相似性。