从自监督学习中提炼视觉先验
计算机视觉与模式识别
2020-08-04 v1
摘要
卷积神经网络（CNNs）容易在小训练集上过拟合。我们提出了一种新颖的两阶段流程，利用自监督学习和知识蒸馏，在数据匮乏场景下提升CNN模型用于图像分类的泛化能力。第一阶段是通过自监督学习学习一个具备丰富且可泛化视觉表示的教师模型，第二阶段以自蒸馏方式将该表示蒸馏到学生模型中，同时对学生模型进行图像分类任务的微调。我们还提出了一种用于自监督对比学习代理任务的新型间隔损失，以在数据匮乏情形下更好地学习表示。结合其他技巧，我们在VIPriors图像分类挑战赛中取得了有竞争力的性能。
引用
@article{arxiv.2008.00261,
title = {Distilling Visual Priors from Self-Supervised Learning},
author = {Bingchen Zhao and Xin Wen},
journal= {arXiv preprint arXiv:2008.00261},
year = {2020}
}
备注
This is the 2nd place tech report for VIPriors Image Classification Challenge ECCVW2020