掩码对比表示学习
计算机视觉与模式识别
2022-11-14 v1 机器学习
摘要
掩码图像建模（如 Masked AutoEncoder）与对比学习（如 Momentum Contrast）在无监督视觉表示学习上已展现令人印象深刻的性能。本工作提出掩码对比表示学习（MACRL）用于自监督视觉预训练。具体而言，MACRL 利用了掩码图像建模与对比学习的双重有效性。我们为孪生网络采用非对称设置（即两分支均为编码器-解码器结构），其中一分支具有更高掩码率与更强数据增强，另一分支采用较弱数据损毁。我们基于两分支编码器的学习特征优化对比学习目标。此外，我们根据解码器输出最小化 重建损失。实验中，MACRL 在各类视觉基准（包括 CIFAR-10、CIFAR-100、Tiny-ImageNet 及另两个 ImageNet 子集）上呈现优越结果。我们的框架为自监督视觉预训练与未来研究提供了统一视角。
引用
@article{arxiv.2211.06012,
title = {Masked Contrastive Representation Learning},
author = {Yuchong Yao and Nandakishor Desai and Marimuthu Palaniswami},
journal= {arXiv preprint arXiv:2211.06012},
year = {2022}
}