从亲和矩阵视角看对比学习的统一框架
计算机视觉与模式识别
2022-11-29 v1
摘要
近年来，多种基于对比学习的无监督视觉表示学习方法被设计出来，并在诸多视觉任务中取得巨大成功。通常，这些方法可粗略分为四类：（1）带有类InfoNCE损失的标准对比方法，如MoCo与SimCLR；（2）仅含正样本对的非对比方法，如BYOL与SimSiam；（3）基于白化正则化的方法，如W-MSE与VICReg；（4）基于一致性正则化的方法，如CO2。在本研究中，我们从基础亲和矩阵的新视角出发，提出一个适用于上述四类方法的统一对比学习表示框架（命名为UniCLR）。此外，基于UniCLR给出了三个变体，即SimAffinity、SimWhitening与SimTrace。并且，基于此框架提出了一种简单的对称损失作为新的一致性正则化项。通过对亲和矩阵对称化，我们可有效加速训练过程的收敛。大量实验表明：（1）所提UniCLR框架可取得与最先进水平相当甚至更优的结果；（2）所提对称损失能显著加速模型收敛；（3）SimTrace通过最大化白化亲和矩阵的迹避免模式崩塌问题，且无需依赖非对称设计或停止梯度。
引用
@article{arxiv.2211.14516,
title = {A Unified Framework for Contrastive Learning from a Perspective of Affinity Matrix},
author = {Wenbin Li and Meihao Kong and Xuesong Yang and Lei Wang and Jing Huo and Yang Gao and Jiebo Luo},
journal= {arXiv preprint arXiv:2211.14516},
year = {2022}
}
备注
12 pages