TiCo：用于自监督视觉表征学习的变换不变性与协方差对比
计算机视觉与模式识别
2022-06-24 v2 人工智能
机器学习
摘要
我们提出变换不变性与协方差对比（TiCo）用于自监督视觉表征学习。与其他近期自监督学习方法类似，我们的方法基于最大化同一图像不同失真版本嵌入之间的一致性，从而推动编码器产生变换不变性表征。为避免编码器生成恒定向量的平凡解，我们通过惩罚低秩解来正则化来自不同图像的嵌入的协方差矩阵。通过联合最小化变换不变性损失与协方差对比损失，我们得到一个能为下游任务生成有用表征的编码器。我们分析该方法并指出，它可视为 MoCo 的一种变体，以零额外内存代价拥有无限大小的隐式记忆库。这使得我们的方法在使用小批量尺寸时优于替代方法。TiCo 也可视作 Barlow Twins 的一种改进。通过将对比方法与冗余减少方法联系起来，TiCo 为我们提供了联合嵌入方法如何运作的新见解。
引用
@article{arxiv.2206.10698,
title = {TiCo: Transformation Invariance and Covariance Contrast for Self-Supervised Visual Representation Learning},
author = {Jiachen Zhu and Rafael M. Moraes and Serkan Karakulak and Vlad Sobol and Alfredo Canziani and Yann LeCun},
journal= {arXiv preprint arXiv:2206.10698},
year = {2022}
}