G-Adapter:面向图Transformer网络结构感知的参数高效迁移学习
机器学习
2023-05-18 v1
摘要
通过微调整个模型参数将大规模预训练模型的知识迁移到各类下游任务,已成为一种流行范式。然而,随着模型规模增长与下游任务数量上升,该范式不可避免地面临计算消耗与内存占用方面的挑战。近来,参数高效微调(PEFT)(如Adapter、LoRA、BitFit)展现出通过仅更新部分参数来缓解这些问题的前景范式。尽管这些PEFT在自然语言处理中已展现令人满意的性能,但能否将其迁移至基于图的任务(使用图Transformer网络(GTNs))仍鲜有探索。因此,本文通过在一系列基于图的下游任务上对传统PEFT进行广泛基准测试来填补此空白。我们的实证研究表明,由于特征分布偏移问题,直接将现有PEFT迁移至基于图的任务是次优的。为解决该问题,我们提出一种新颖的结构感知PEFT方法,名为G-Adapter,其利用图卷积操作将图结构(如图邻接矩阵)作为归纳偏置来引导更新过程。此外,我们提出Bregman近端点优化,通过防止模型激进更新来进一步缓解特征分布偏移。大量实验表明,基于两个预训练GTNs在九个图基准数据集上,G-Adapter相比同类方法取得了最先进性能,并且相比传统范式具有巨大的内存占用效率。
引用
@article{arxiv.2305.10329,
title = {G-Adapter: Towards Structure-Aware Parameter-Efficient Transfer Learning for Graph Transformer Networks},
author = {Anchun Gui and Jinqiang Ye and Han Xiao},
journal= {arXiv preprint arXiv:2305.10329},
year = {2023}
}
备注
19 pages, 10 figures