SigCLR:视觉表征的Sigmoid对比学习
计算机视觉与模式识别
2024-10-24 v1 机器学习
摘要
我们提出了SigCLR:Sigmoid对比视觉表征学习。SigCLR利用仅作用于样本对的逻辑损失,不需要像SimCLR中交叉熵损失那样的全局视图。我们证明,在CIFAR-10、CIFAR-100和Tiny-IN上,逻辑损失与其他成熟的SSL目标相比表现出有竞争力的性能。我们的发现验证了可学习偏置的重要性,如SigLUP的情况,但需要像SimCLR中那样的固定温度才能发挥最佳性能。总体而言,SigCLR是SimCLR的一个有前景的替代方案,后者已被广泛使用并在各个领域取得了巨大成功。
引用
@article{arxiv.2410.17427,
title = {SigCLR: Sigmoid Contrastive Learning of Visual Representations},
author = {Ömer Veysel Çağatan},
journal= {arXiv preprint arXiv:2410.17427},
year = {2024}
}
备注
Neurips 2024 SSL Workshop