ZeroG：探究图中的跨数据集零样本可迁移性
机器学习
2024-06-25 v2
摘要
随着大型语言模型等基础模型的发展，零样本迁移学习变得日益重要。NLP 模型（如 GPT-4）的生成能力和 CV 模型（如 CLIP）的基于检索的方法凸显了这一点，两者都有效地弥合了可见数据与不可见数据之间的差距。在图学习领域，新图的不断涌现和人工标注的挑战也放大了对零样本迁移学习的需求，推动了能够在无需特定数据集和特定标签微调的情况下泛化到多样化图数据的方法的探索。在本研究中，我们通过引入 ZeroG（一种专为实现跨数据集泛化而定制的新框架），将此类范式扩展到图中的零样本可迁移性。针对特征不对齐、标签空间不匹配和负迁移等固有挑战，我们利用语言模型对节点属性和类别语义进行编码，确保跨数据集的特征维度一致。我们还提出了一种基于提示的子图采样模块，分别利用提示节点和邻域聚合来丰富提取子图的语义信息和结构信息。我们进一步采用了一种轻量级微调策略，降低了过拟合风险并保持了语言模型的零样本学习效能。结果强调了我们的模型在实现显著跨数据集零样本可迁移性方面的有效性，为图基础模型的开发开辟了途径。代码和数据可在 https://github.com/NineAbyss/ZeroG 获取。
引用
@article{arxiv.2402.11235,
title = {ZeroG: Investigating Cross-dataset Zero-shot Transferability in Graphs},
author = {Yuhan Li and Peisong Wang and Zhixun Li and Jeffrey Xu Yu and Jia Li},
journal= {arXiv preprint arXiv:2402.11235},
year = {2024}
}
备注
Accepted by SIGKDD 2024, research track