PRODIGY：实现图上的上下文学习
机器学习
2023-05-23 v1 人工智能
摘要
上下文学习是预训练模型通过以提示样例为条件来适应新颖多样下游任务的能力，无需优化任何参数。虽然大语言模型已展示此能力，但如何在图上进行上下文学习尚待探索。本文提出 \textbf{Pr}etraining \textbf{O}ver \textbf{D}iverse \textbf{I}n-Context \textbf{G}raph S\textbf{y}stems（PRODIGY），首个实现图上上下文学习的预训练框架。我们框架的核心思想是用一种新颖的\emph{提示图}表示来形式化图上的上下文学习，该提示图连接提示样例与查询。我们随后提出一种基于提示图的图神经网络架构及相应的一系列上下文预训练目标。借助PRODIGY，预训练模型可通过上下文学习直接在未见图上执行新颖下游分类任务。我们通过在引文网络与知识图谱相关任务上展示强大的上下文学习性能，提供了框架有效性的经验证据。我们的方法在所有设定下平均以18%的优势超越具有硬编码适应的对比预训练基线的上下文学习准确率；此外，通过上下文学习平均以33%的优势超越有限数据下的标准微调。
引用
@article{arxiv.2305.12600,
title = {PRODIGY: Enabling In-context Learning Over Graphs},
author = {Qian Huang and Hongyu Ren and Peng Chen and Gregor Kržmanc and Daniel Zeng and Percy Liang and Jure Leskovec},
journal= {arXiv preprint arXiv:2305.12600},
year = {2023}
}