AdapterGNN：参数高效微调提升图神经网络泛化能力
机器学习
2023-12-12 v2
摘要
微调预训练模型近来在图神经网络（GNNs）中取得了显著的性能提升。除预训练技术外，受自然语言领域最新工作的启发，更近期的工作已转向应用有效的微调方法，例如参数高效微调（PEFT）。然而，鉴于 GNN 与基于 transformer 的模型之间的显著差异，此类方法直接应用于 GNN 时被证明效果较差。本文中，我们对面向 GNN 的 PEFT 技术进行了全面比较，并提出了一种专为 GNN 设计的新型 PEFT 方法，称为 AdapterGNN。AdapterGNN 保留了大型预训练模型的知识，并利用针对 GNN 的高表达力适配器，仅以极少参数即可有效适应下游任务，同时提升模型的泛化能力。大量实验表明，AdapterGNN 取得了优于其他 PEFT 方法的性能，且是唯一始终超越全微调的方法（在化学与生物领域分别以仅 5% 和 4% 的参数调优取得比其高 1.6% 和 5.7% 的表现），且具有更小的泛化差距。此外，我们经实验表明更大的 GNN 模型可能具有更差的泛化能力，这与大型基于 transformer 的模型中观察到的趋势不同。在此基础上，我们通过应用泛化界为 PEFT 可提升 GNN 泛化能力提供了理论依据。我们的代码见于 https://github.com/Lucius-lsr/AdapterGNN。
引用
@article{arxiv.2304.09595,
title = {AdapterGNN: Parameter-Efficient Fine-Tuning Improves Generalization in GNNs},
author = {Shengrui Li and Xueting Han and Jing Bai},
journal= {arXiv preprint arXiv:2304.09595},
year = {2023}
}
备注
Accepted at AAAI 2024