以跨相似一致性正则化扩展动量对比

对比自监督表示学习方法最大化正样本对的相似性，同时倾向于最小化负样本对的相似性。然而，通常负样本对之间的相互作用被忽略，因为它们没有放置特殊机制以根据其具体差异和相似性区别对待负样本对。在本文中，我们提出扩展动量对比（XMoCo），一种建立在 MoCo 系列配置中提出的动量编码器单元基础上的自监督表示学习方法。为此，我们引入了一种跨一致性正则化损失，借此我们将变换一致性扩展到不相似图像（负样本对）。在跨一致性正则化规则下，我们认为与任意图像对（正或负）相关的语义表示应在 pretext 变换下保持其跨相似性。此外，我们通过强制负样本对之间的相似性在批次上呈均匀分布来进一步正则化训练损失。所提出的正则化可以以即插即用的方式轻松添加到现有的自监督学习算法中。在经验上，我们在标准 ImageNet-1K 线性头分类基准上报告了具有竞争力的性能。此外，通过将学习到的表示迁移到常见下游任务，我们表明将 XMoCo 与普遍使用的增强结合使用可提升此类任务的性能。我们希望本文的发现能激励研究者在自监督学习中考虑负样本之间的重要相互作用。