通过保留图生成模式微调图神经网络

近年来，预训练和微调图神经网络的范式已被广泛研究并应用于各种图挖掘任务。其成功通常归因于预训练数据集和下游数据集之间的结构一致性，然而在许多现实场景中这种一致性并不成立。现有工作表明，预训练图与下游图之间的结构差异显著限制了使用普通微调策略时的可迁移性。这种差异导致模型在预训练图上过拟合，并难以捕捉下游图的结构特性。在本文中，我们确定结构差异的根本原因是预训练图和下游图之间生成模式的差异。此外，我们提出G-Tuning来保留下游图的生成模式。给定一个下游图G，核心思想是微调预训练的GNN，使其能够重建G的生成模式——图on W。然而，精确重建图on在计算上已知是昂贵的。为了克服这一挑战，我们提供了一个理论分析，证明对于任何给定的图on，存在一组称为图on基的替代图on。通过利用这些图on基的线性组合，我们可以高效地近似W。这一理论发现构成了我们提出模型的基础，因为它能够有效学习图on基及其相关系数。与现有算法相比，G-Tuning在域内和域外迁移学习实验中分别平均提高了0.5%和2.6%。