InfoNCE 是图语义引导对比学习的免费餐
机器学习
2025-05-13 v1
摘要
作为一种重要的图预训练方法，图对比学习 (GCL) 在持续推动图形基础模型或将大语言模型作为图形增强器的研究浪潮中发挥关键作用。传统 GCL 通过使用增强方法定义自监督任务，将增强对作为正样本，其他样本作为负样本，从而优化 InfoNCE。然而，这会导致语义相似的对被分类为负样本，造成显著抽样偏差，限制了性能。本文认为 GCL 本质上是一个正-未标记 (PU) 学习问题，自监督任务的定义应以语义为导向，即语义相似的增强样本视为正样本，而其他未知语义的样本视为未标记样本。从这一角度看，关键在于如何提取语义信息。为实现这一目标，我们提出 IFL-GCL，使用 InfoNCE 作为“免费餐”来提取语义信息。具体而言，我们首先证明在 InfoNCE 下，节点对的表示相似性与相应对抗样本为正的概率一致。随后，我们基于纠正后的样本重新定义最大似然目标， leading 到一个新的 InfoNCE 损失函数。在图预训练框架和大语言模型增强器上的大量实验表明，IFL-GCL 在 IID 和 OOD 场景中均实现显著改进，最高可达 9.05% 的提升，验证了语义引导方法的有效性。IFL-GCL 代码已公开available at: https://github.com/Camel-Prince/IFL-GCL。
引用
@article{arxiv.2505.06282,
title = {InfoNCE is a Free Lunch for Semantically guided Graph Contrastive Learning},
author = {Zixu Wang and Bingbing Xu and Yige Yuan and Huawei Shen and Xueqi Cheng},
journal= {arXiv preprint arXiv:2505.06282},
year = {2025}
}
备注
10 pages, 5 figures, Accepted by SIGIR2025