Retro：通过自监督学习重用教师投影头实现轻量模型的高效嵌入蒸馏

自监督学习（SSL）因其能够利用大量无标签数据学习有效表示而受到关注。轻量模型可以通过对比和一致性约束从较大的自监督预训练模型中蒸馏得到。然而，投影头大小的不同使得学生难以准确模仿教师的嵌入。我们提出\textsc{Retro}，它为学生重用教师的投影头，我们的实验结果表明，在所有轻量模型上，该方法相比现有最先进技术有显著改进。例如，当使用ResNet-50/101/152作为教师训练EfficientNet-B0时，我们的方法在ImageNet上的线性结果分别提高到66.9%、69.3%和69.8%，同时参数显著减少。