PSP：面向图神经网络的预训练与结构提示微调
机器学习
2024-06-04 v2
摘要
图神经网络（GNNs）在学习图数据语义方面十分强大。近来，“预训练与提示”新范式在以更少监督数据适配GNNs至各类任务时展现出良好前景。该范式的成功可归因于预训练与目标导向提示微调更为一致的目标，其中预训练知识可有效迁移至下游任务。多数现有方法基于类原型向量框架。然而，在小样本场景下，给定少量标注数据，类原型向量难以被准确构建或学习。同时，图的结构信息通常在预训练阶段被用于学习节点表示，而在提示微调阶段为学习更精确原型向量时却被忽视。此外，它们通常忽略异配邻域对节点表示的影响，且不适用于异配图。为弥补这些差距，我们提出一种新颖的GNNs预训练与结构提示微调框架，即PSP，其在预训练与提示微调两阶段一致地利用结构信息。具体而言，PSP 1）采用双视图对比学习对齐节点属性与图结构的潜在语义空间，2）在提示图中融入结构信息以构建更精确原型向量并在提示微调中引出更多预训练知识。我们在节点分类与图分类任务上进行了大量实验以评估PSP的有效性。我们表明PSP在同配与异配图的小样本场景下均能带来优越性能。实现代码见 https://github.com/gqq1210/PSP。
引用
@article{arxiv.2310.17394,
title = {PSP: Pre-Training and Structure Prompt Tuning for Graph Neural Networks},
author = {Qingqing Ge and Zeyuan Zhao and Yiding Liu and Anfeng Cheng and Xiang Li and Shuaiqiang Wang and Dawei Yin},
journal= {arXiv preprint arXiv:2310.17394},
year = {2024}
}