层级嫁接预训练：为标签高效表征桥接对比学习与掩码图像建模
计算机视觉与模式识别
2023-03-01 v1
摘要
近来，对比学习（CL）与掩码图像建模（MIM）均表明自监督学习在习得良好表征方面具有强大能力。然而，朴素地将二者结合远未成功。本文首先通过经验观察发现，CL 与 MIM 损失的朴素联合优化会导致冲突的梯度方向——且随网络层加深而愈发严重。这促使我们将范式从末端损失结合，转向为各网络层选择合适的学习方法。受实验观察启发，我们发现 MIM 与 CL 分别适用于较低层与较高层。因此我们提出以令人惊讶地简单、“顺序级联”的方式将二者结合：先在一个 MIM 损失下训练早期层，其后层在此基础上继续于另一个 CL 损失下训练。所提出的层级嫁接预训练习得了良好的视觉表征，在下游应用中展现出优越的标签效率，尤其除线性评测外还取得了强劲的小样本性能。例如，在 ImageNet-1k 上，层级嫁接预训练在 ViT-B/16 下就 1% 小样本学习取得 65.5% 的 Top-1 准确率，在无需额外技巧的情况下较 MIM 与 CL 基线分别提升 14.4% 与 2.1%。代码见 https://github.com/VITA-Group/layerGraftedPretraining_ICLR23.git。
引用
@article{arxiv.2302.14138,
title = {Layer Grafted Pre-training: Bridging Contrastive Learning And Masked Image Modeling For Label-Efficient Representations},
author = {Ziyu Jiang and Yinpeng Chen and Mengchen Liu and Dongdong Chen and Xiyang Dai and Lu Yuan and Zicheng Liu and Zhangyang Wang},
journal= {arXiv preprint arXiv:2302.14138},
year = {2023}
}
备注
Accepted by ICLR 2023