对比学习即相似度图上的谱聚类

Zhiquan Tan; Yifan Zhang; Jingqin Yang; Yang Yuan

对比学习即相似度图上的谱聚类

机器学习 2024-02-26 v4 人工智能计算机视觉与模式识别

作者: Zhiquan Tan , Yifan Zhang , Jingqin Yang , Yang Yuan

摘要

对比学习是一种强大的自监督学习方法，但我们在其工作原理和原因方面的理论理解仍然有限。在本文中，我们证明使用标准 InfoNCE 损失的对比学习等价于相似度图上的谱聚类。以该等价性为基石，我们将分析扩展到 CLIP 模型，并严格刻画多模态相似对象如何被共同嵌入。受我们理论见解的启发，我们引入了 Kernel-InfoNCE 损失，其融合了多种核函数混合物，在多个视觉数据集上优于标准高斯核。代码可在 https://github.com/yifanzhang-pro/Kernel-InfoNCE 获取。

关键词

对比学习谱聚类 InfoNCE 损失相似度图 CLIP 模型 Kernel-InfoNCE 损失自监督学习

引用

@article{arxiv.2303.15103,
  title  = {Contrastive Learning Is Spectral Clustering On Similarity Graph},
  author = {Zhiquan Tan and Yifan Zhang and Jingqin Yang and Yang Yuan},
  journal= {arXiv preprint arXiv:2303.15103},
  year   = {2024}
}

备注

ICLR 2024; We express our gratitude to the anonymous reviewers for their valuable feedback

对比学习即相似度图上的谱聚类

摘要

关键词

引用

备注

相关论文