完美对齐可能对图对比学习有害

Jingyu Liu; Huayi Tang; Yong Liu

完美对齐可能对图对比学习有害

机器学习 2024-12-25 v3 人工智能

作者: Jingyu Liu , Huayi Tang , Yong Liu

摘要

图对比学习（GCL）旨在通过对齐正样本对并分离负样本对来学习节点表示。然而，很少有研究者关注基于图的学习中所用特定增强背后的内在规律。何种增强有助于下游性能？对比学习究竟如何影响下游任务？以及为何增强幅度如此重要？本文试图通过建立增强与下游性能之间的联系来解答这些问题。我们的发现表明，GCL 对下游任务的贡献主要在于分离不同类别，而非聚集同一类的节点。因此，将全部类内样本拉得相同的完美对齐与增强重叠，并不能充分解释对比学习的成功。为此，为理解增强如何助力对比学习过程，我们对泛化性做了进一步探究，发现将正样本对拉得相同的完美对齐虽有助于对比损失，却对泛化有害；因此，完美对齐未必带来最佳下游性能，故需专门设计的增强以实现适当的对齐性能并提升下游准确率。我们进一步借助信息论与图谱理论分析结果，并提出两种简单而有效的方法来验证上述理论。这两种方法可轻松应用于各类 GCL 算法，且我们开展了大量实验证明其有效性。代码见 https://github.com/somebodyhh1/GRACEIS

关键词

图对比学习数据增强完美对齐泛化性节点表示下游性能信息论图谱理论

引用

@article{arxiv.2310.03977,
  title  = {Perfect Alignment May be Poisonous to Graph Contrastive Learning},
  author = {Jingyu Liu and Huayi Tang and Yong Liu},
  journal= {arXiv preprint arXiv:2310.03977},
  year   = {2024}
}

备注

ICML 24

完美对齐可能对图对比学习有害

摘要

关键词

引用

备注

相关论文