自蒸馏自监督表示学习
计算机视觉与模式识别
2022-11-29 v3
摘要
自监督学习领域的最新框架表明，与传统的CNN模型相比，充分利用基于Transformer的模型可以带来性能提升。为了最大化图像两个视图的互信息，现有工作对最终表示应用对比损失。受监督学习中的自蒸馏启发，我们通过允许中间表示通过对比损失从最后一层学习来进一步利用这一点。通过自蒸馏，中间层更适合进行实例判别，使得提前退出的子网络的性能相比完整网络不会下降太多。这使得前置任务对最后一层也更容易，从而产生更好的表示。我们的方法，自蒸馏自监督学习（SDSSL），在使用ViT的各种任务和数据集上优于竞争基线（SimCLR、BYOL和MoCo v3）。在线性评估和k-NN协议中，SDSSL不仅在最终层带来了优越的性能，而且在大多数较低层也是如此。此外，定性和定量分析显示了表示是如何沿着Transformer层更有效地形成的。代码可在https://github.com/hagiss/SDSSL获取。
引用
@article{arxiv.2111.12958,
title = {Self-Distilled Self-Supervised Representation Learning},
author = {Jiho Jang and Seonhoon Kim and Kiyoon Yoo and Chaerin Kong and Jangho Kim and Nojun Kwak},
journal= {arXiv preprint arXiv:2111.12958},
year = {2022}
}
备注
WACV 23, 11 pages