解耦对比学习
机器学习
2023-06-21 v3 计算机视觉与模式识别
摘要
对比学习（CL）是自监督学习（SSL）最成功的范式之一。其原则性地将同一图像的两个增强“视图”视为正样本以拉近，将所有其他图像视为负样本以推远。然而，在基于 CL 的技术令人瞩目的成功背后，其公式常依赖大量计算设置，包括大样本批次、大量训练轮次等。因此我们受此激励解决这些问题，并建立简单、高效且具竞争力的对比学习基线。具体地，我们从理论与实证研究中识别出广泛使用的 InfoNCE 损失中显著的负正耦合（NPC）效应，导致关于批次大小的学习效率不适。通过消除 NPC 效应，我们提出解耦对比学习（DCL）损失，其从分母中移除正样本项并显著提升学习效率。DCL 取得具竞争力性能且对次优超参数敏感度更低，既不需要 SimCLR 中的大批次、MoCo 中的动量编码，也不需要大量轮次。我们在多种基准上展示，同时显现出对次优超参数敏感度低得多的鲁棒性。值得注意的是，采用 DCL 的 SimCLR 在 200 轮预训练内使用批次大小 256 取得 68.2% ImageNet-1K top-1 准确率，比其 SimCLR 基线高出 6.4%。此外，DCL 可与 SOTA 对比学习方法 NNCLR 结合，在 400 轮内以 512 批次大小取得 72.3% ImageNet-1K top-1 准确率，代表对比学习中的新 SOTA。我们相信 DCL 为未来对比 SSL 研究提供了有价值的基线。
引用
@article{arxiv.2110.06848,
title = {Decoupled Contrastive Learning},
author = {Chun-Hsiao Yeh and Cheng-Yao Hong and Yen-Chi Hsu and Tyng-Luh Liu and Yubei Chen and Yann LeCun},
journal= {arXiv preprint arXiv:2110.06848},
year = {2023}
}
备注
Accepted by ECCV2022