HG-Adapter：利用双适配器提升预训练异构图神经网络
机器学习
2024-11-05 v1
摘要
“预训练、提示微调”范式在通过缩小预训练模型与下游任务之间的差距来微调预训练异构图神经网络（HGNN）方面展现了令人瞩目的性能。然而，大多数基于提示微调的工作至少面临两个局限：（i）由于在提示微调阶段通常忽略图结构，模型可能无法充分拟合图结构，从而增大训练误差以降低泛化能力；（ii）模型在提示微调阶段可能面临标注数据不足的问题，导致训练误差与测试误差之间存在较大的泛化差距，进一步影响模型泛化能力。为缓解上述局限，我们首先推导了现有基于提示微调方法的泛化误差界，然后提出一个统一框架，结合两种新适配器与潜在标注数据扩展来提升预训练HGNN模型的泛化能力。具体而言，我们设计了双结构感知适配器来自适应地拟合任务相关的同构和异构结构信息。我们进一步设计了标签传播对比损失和两种自监督损失来优化双适配器，并将无标签节点作为潜在标注数据纳入。理论分析表明，所提方法相较于现有方法实现了更低的泛化误差界，从而获得了更优的泛化能力。全面实验证明了所提方法在不同下游任务上的有效性与泛化性。
引用
@article{arxiv.2411.01155,
title = {HG-Adapter: Improving Pre-Trained Heterogeneous Graph Neural Networks with Dual Adapters},
author = {Yujie Mo and Runpeng Yu and Xiaofeng Zhu and Xinchao Wang},
journal= {arXiv preprint arXiv:2411.01155},
year = {2024}
}
备注
23 pages