一个提示适配所有:面向预训练模型的通用图适配
机器学习
2025-10-15 v2
摘要
图提示学习(GPL)已成为一种有前景的范式,用于桥接图预训练模型与下游场景,缓解标签依赖以及上游预训练与下游任务之间的错位。尽管现有 GPL 研究探索了多种提示策略,其有效性与底层原理仍不清晰。我们指出两个关键局限:(1)缺乏对底层机制的共识:尽管当前 GPL 推进了该领域,但对于提示如何与预训练模型交互尚无共识,因为不同策略在模型内的不同空间进行干预,即输入级、层级和表示级提示。(2)场景适应性有限:大多数方法无法泛化至多样的下游场景,尤其在数据分布偏移下(例如同配图至异配图)。为解决这些问题,我们从理论上分析了现有 GPL 方法,揭示表示级提示本质上等效于微调一个简单的下游分类器,并提出图提示学习应聚焦于释放预训练模型的能力,且分类器应适配下游场景。基于我们的发现,我们提出 UniPrompt,一种新颖的 GPL 方法,可适配任何预训练模型,在保留输入图的同时释放预训练模型的能力。大量实验表明,我们的方法能有效与各类预训练模型集成,并在同域与跨域场景中取得强劲性能。
引用
@article{arxiv.2509.22416,
title = {One Prompt Fits All: Universal Graph Adaptation for Pretrained Models},
author = {Yongqi Huang and Jitao Zhao and Dongxiao He and Xiaobao Wang and Yawen Li and Yuxiao Huang and Di Jin and Zhiyong Feng},
journal= {arXiv preprint arXiv:2509.22416},
year = {2025}
}
备注
accepted by NeurIPS 2025 main conference