DisCo：通过蒸馏对比学习修复轻量模型上的自监督学习
计算机视觉与模式识别
2022-07-05 v7 人工智能
摘要
尽管自监督表示学习（SSL）已受到社区的广泛关注，近期研究指出当其模型规模减小时，性能会出现断崖式下跌。当前方法主要依赖对比学习来训练网络，本工作中我们提出一种简单而有效的蒸馏对比学习（Distilled Contrastive Learning, DisCo）大幅缓解该问题。具体而言，我们发现主流 SSL 方法得到的最终嵌入包含最丰富的信息，并提出对该最终嵌入进行蒸馏，通过约束学生的最后嵌入与教师的一致，将教师知识最大化传递至轻量模型。此外，实验中我们发现一种称为蒸馏瓶颈（Distilling BottleNeck）的现象，并提出扩大嵌入维度以缓解此问题。我们的方法在部署时不为轻量模型引入任何额外参数。实验结果表明，我们的方法在所有轻量模型上均达到最先进水平（state-of-the-art）。特别地，当使用 ResNet-101/ResNet-50 作为教师教导 EfficientNet-B0 时，EfficientNet-B0 在 ImageNet 上的线性结果非常接近 ResNet-101/ResNet-50，但 EfficientNet-B0 的参数数量仅为 ResNet-101/ResNet-50 的 9.4%/16.3%。代码见 https://github.com/Yuting-Gao/DisCo-pytorch。
引用
@article{arxiv.2104.09124,
title = {DisCo: Remedy Self-supervised Learning on Lightweight Models with Distilled Contrastive Learning},
author = {Yuting Gao and Jia-Xin Zhuang and Shaohui Lin and Hao Cheng and Xing Sun and Ke Li and Chunhua Shen},
journal= {arXiv preprint arXiv:2104.09124},
year = {2022}
}
备注
ECCV 2022