对比图少样本学习
机器学习
2022-10-04 v1
摘要
主流的深度图学习模型常受标签稀疏问题困扰。尽管已开发许多图少样本学习（GFL）方法以避免在标注数据有限时性能下降，它们过度依赖标注数据，且测试阶段的分布偏移可能导致泛化能力受损。此外，由于其设计与任务或数据特定特征耦合，它们缺乏通用性。为此，我们提出一个通用且有效的对比图少样本学习框架（CGFL）。CGFL利用自蒸馏对比学习过程来增强GFL。具体地，我们的模型首先使用无标注数据通过对比学习预训练图编码器。随后，训练好的编码器被冻结作为教师模型，以对比损失蒸馏学生模型。蒸馏后的模型最终送入GFL。CGFL以自监督方式学习数据表示，从而缓解分布偏移影响以获得更好泛化，并使模型独立于任务和数据，用于通用图挖掘目的。此外，我们引入一种基于信息的方法定量度量CGFL的能力。综合实验表明，CGFL在少样本场景下的若干图挖掘任务上优于最先进的基线。我们也提供了CGFL成功的定量度量。
引用
@article{arxiv.2210.00084,
title = {Contrastive Graph Few-Shot Learning},
author = {Chunhui Zhang and Hongfu Liu and Jundong Li and Yanfang Ye and Chuxu Zhang},
journal= {arXiv preprint arXiv:2210.00084},
year = {2022}
}