GraphCLIP：用于文本标注图的图基模型迁移性提升方法
机器学习
2025-02-25 v4 人工智能
摘要
近期，由于真实应用中自由文本节点特征的普遍存在以及大型语言模型（LLM）的进步，针对文本标注图（Text-Attributed Graphs，TAGs）的研究近年来受到广泛关注。然而，当前的TAG方法面临两个主要挑战：（i）过度依赖标签信息，（ii）受限于跨域零/少量样本迁移性。这两个问题限制了数据和模型规模的扩展，由于高劳动力成本和规模定律， complicates 图基模型开发，使其具备强大的迁移性。为此，我们提出GraphCLIP框架，通过自监督对比图-摘要预训练方法，学习具备强大跨域零/少量样本迁移性的图基模型。具体而言，我们借助LLM生成并构建大规模图-摘要配对数据，引入新颖的图-摘要预训练方法结合不变性学习，以提升图基模型的跨域零样本迁移能力。对于少量样本学习，我们提出一种 novel graph prompt tuning 技术，与我们的预训练目标对齐，以缓解灾难性遗忘并最小化学习成本。大量实验表明，GraphCLIP在零样本和少量样本设置下均表现优越，而且通过各种下游任务的评估，证明了GraphCLIP的多样性。我们的代码已公开：https://github.com/ZhuYun97/GraphCLIP
引用
@article{arxiv.2410.10329,
title = {GraphCLIP: Enhancing Transferability in Graph Foundation Models for Text-Attributed Graphs},
author = {Yun Zhu and Haizhou Shi and Xiaotang Wang and Yongchao Liu and Yaoke Wang and Boci Peng and Chuntao Hong and Siliang Tang},
journal= {arXiv preprint arXiv:2410.10329},
year = {2025}
}
备注
Accepted to WWW'25