用于改进小型自监督模型的简单蒸馏基线
计算机视觉与模式识别
2021-06-22 v1
摘要
尽管大型自监督模型已媲美其有监督对应模型的性能，小型模型仍面临困难。在本报告中，我们探索通过蒸馏改进小型自监督模型的简单基线，称为 SimDis。具体而言，我们提出一个离线蒸馏基线，其确立了新的最先进水平（state-of-the-art），以及一个在线蒸馏基线，其以最小计算开销实现了相似性能。我们希望这些基线能为相关未来研究提供有用经验。代码见：https://github.com/JindongGu/SimDis/
引用
@article{arxiv.2106.11304,
title = {Simple Distillation Baselines for Improving Small Self-supervised Models},
author = {Jindong Gu and Wei Liu and Yonglong Tian},
journal= {arXiv preprint arXiv:2106.11304},
year = {2021}
}