对比学习中使用 Sigmoid 损失的分析
机器学习
2024-02-21 v1
摘要
对比学习已成为自监督学习的一个重要分支数年之久。特别是将对比学习应用于大规模带标题图像集的 CLIP 模型，引起了广泛关注。最近，提出了 CLIP 的一个变体 SigLIP，它使用 sigmoid 损失代替标准的 InfoNCE 损失。SigLIP 通过消除对全局视图的需求，以更高效的方式实现了与 CLIP 相当的性能。然而，关于在对比学习中使用 sigmoid 损失的理论理解尚待深入探索。本文从学习嵌入的几何结构视角，提供了在对比学习中使用 sigmoid 损失的理论分析。首先，我们提出了双常数嵌入模型（double-Constant Embedding Model, CCEM），这是一个通过单一变量参数化各种知名嵌入结构的框架。有趣的是，所提出的 CCEM 被证明包含了关于 sigmoid 损失的最优嵌入。其次，我们从数学上分析了对比学习中最小化 sigmoid 损失的最优嵌入。根据 sigmoid 损失中使用的温度参数，最优嵌入的范围从单纯形等角紧框架到对跖结构。第三，我们在合成数据集上的实验结果与关于最优嵌入结构的理论结果一致。
引用
@article{arxiv.2402.12613,
title = {Analysis of Using Sigmoid Loss for Contrastive Learning},
author = {Chungpa Lee and Joonhwan Chang and Jy-yong Sohn},
journal= {arXiv preprint arXiv:2402.12613},
year = {2024}
}