面向图神经网络的通用提示微调
机器学习
2024-04-11 v5 人工智能
摘要
近年来，提示微调引发了适配预训练模型的研究热潮。不同于语言领域采用的统一预训练策略，图领域呈现出多样的预训练策略，这给为图神经网络设计合适的基于提示的微调方法带来了挑战。尽管一些开创性工作已为采用边预测作为预训练任务的模型设计了专门的提示函数，这些方法局限于特定的预训练 GNN 模型，缺乏更广泛的适用性。在本文中，我们引入一种称为图提示特征（GPF）的通用基于提示的微调方法，适用于任意预训练策略下的预训练 GNN 模型。GPF 作用于输入图的特征空间，并且理论上可实现与任意形式提示函数等价的效果。因此，我们不再需要显式地阐明对应于每种预训练策略的提示函数。相反，我们采用 GPF 以自适应方式获得面向下游任务的提示图。我们提供了严格的推导以证明 GPF 的通用性并保障其有效性。在不同预训练策略下的实验结果表明，我们的方法优于微调，在全样本场景下平均提升约 1.4%，少样本场景下平均提升约 3.2%。此外，当应用于采用其所专长预训练策略的模型时，我们的方法显著优于现有的专门基于提示的微调方法。这些众多优势使我们的方法成为下游适配中微调的一个引人注目的替代方案。
引用
@article{arxiv.2209.15240,
title = {Universal Prompt Tuning for Graph Neural Networks},
author = {Taoran Fang and Yunchao Zhang and Yang Yang and Chunping Wang and Lei Chen},
journal= {arXiv preprint arXiv:2209.15240},
year = {2024}
}