中文

MultiGPrompt:用于图多任务预训练与提示的框架

计算与语言 2024-08-27 v7 机器学习

摘要

图能够本质上对Web上相互连接的对象进行建模,从而促进一系列Web应用,如Web分析和内容推荐。近期,图神经网络(GNNs)已成为图表示学习的主流技术。然而,它们在端到端监督框架内的有效性显著依赖于特定任务标签的可用性。为了降低标注成本并增强在少样本设置下的鲁棒性,在自监督任务上进行预训练已成为一种有前景的方法,同时提示(prompting)被提出以进一步缩小前置任务与下游任务之间的目标差距。尽管目前已有一些关于基于图的提示学习的初步探索,但它们主要利用单一前置任务,导致从预训练数据中学习到的通用知识仅限于一个子集。因此,在本文中,我们提出了MultiGPrompt,一种新颖的多任务预训练与提示框架,以利用多个前置任务获取更全面的预训练知识。首先,在预训练阶段,我们设计了一组前置词元(pretext tokens)以协同多个前置任务。其次,我们提出了一种由组合提示和开放提示组成的双提示机制,以利用特定任务和全局预训练知识,在少样本设置下指导下游任务。最后,我们在六个公开数据集上进行了大量实验,以评估和分析MultiGPrompt。

关键词

引用

@article{arxiv.2312.03731,
  title  = {MultiGPrompt for Multi-Task Pre-Training and Prompting on Graphs},
  author = {Xingtong Yu and Chang Zhou and Yuan Fang and Xinming Zhang},
  journal= {arXiv preprint arXiv:2312.03731},
  year   = {2024}
}

备注

WWW2024 research track