MimCo：基于对比教师的掩码图像建模预训练
计算机视觉与模式识别
2023-04-21 v2
摘要
近期掩码图像建模（MIM）在无监督学习（SSL）中备受关注，其要求目标模型恢复输入图像中被掩码的部分。尽管基于 MIM 的预训练方法在迁移到许多下游任务时取得了新的最先进性能，但可视化显示所学表征的可分性较差，尤其是与基于对比学习预训练的表征相比。这促使我们思考：MIM 预训练表征的线性可分性是否可进一步提升，从而改善预训练性能。由于 MIM 与对比学习往往采用不同的数据增强与训练策略，将这两种 pretext 任务结合并非易事。本工作中，我们提出一种新颖且灵活的预训练框架 MimCo，通过两阶段预训练将 MIM 与对比学习相结合。具体而言，MimCo 以预训练的对比学习模型作为教师模型，并以两类学习目标进行预训练：块级与图像级重建损失。在下游任务上的大量迁移实验证明了我们 MimCo 预训练框架的优越性能。以 ViT-S 为例，当使用预训练的 MoCov3-ViT-S 作为教师模型时，MimCo 仅需 100 轮预训练即在 ImageNet-1K 上取得 82.53% 的 top-1 微调精度，优于最先进的无监督学习同类方法。
引用
@article{arxiv.2209.03063,
title = {MimCo: Masked Image Modeling Pre-training with Contrastive Teacher},
author = {Qiang Zhou and Chaohui Yu and Hao Luo and Zhibin Wang and Hao Li},
journal= {arXiv preprint arXiv:2209.03063},
year = {2023}
}