双温度助力无需大量负样本的对比学习：迈向对MoCo的理解与简化
机器学习
2022-04-01 v1 人工智能
摘要
对比学习（CL）广为人知地需要大量负样本，例如MoCo中需65536个，而无字典框架的性能往往较差，因为其负样本量（NSS）受限于小批量大小（MBS）。为将NSS与MBS解耦，大量CL框架采用了动态字典，其中 arguably 最流行的是MoCo系列。本质上，MoCo采用基于动量的队列字典，我们对其大小与一致性进行了细粒度分析。我们指出MoCo中使用的InfoNCE损失以不同强度的惩罚隐式地将锚点吸引至其对应正样本，并将这种锚间硬度感知特性识别为需要大字典的主要原因。我们的发现促使我们通过移除MoCo v2的字典与动量来简化它。基于带所提双温度的InfoNCE，我们的简化框架SimMoCo与SimCo以可见优势超越MoCo v2。此外，我们的工作弥合了CL与非CL框架间的鸿沟，有助于对SSL中这两类主流框架更统一的理解。代码见：https://bit.ly/3LkQbaT。
引用
@article{arxiv.2203.17248,
title = {Dual Temperature Helps Contrastive Learning Without Many Negative Samples: Towards Understanding and Simplifying MoCo},
author = {Chaoning Zhang and Kang Zhang and Trung X. Pham and Axi Niu and Zhinan Qiao and Chang D. Yoo and In So Kweon},
journal= {arXiv preprint arXiv:2203.17248},
year = {2022}
}
备注
Accepted by CVPR2022