基于SimCLR的半监督学习、迁移学习与知识蒸馏
计算机视觉与模式识别
2021-08-03 v1 机器学习
摘要
半监督学习领域的近期突破已取得与传统最先进监督学习方法相匹敌的结果。计算机视觉中最成功的半监督学习方法大多聚焦于利用海量无标签数据，通过数据增强与变换学习通用表征，生成伪标签，实现不同损失函数，并最终将该知识迁移至更具任务特异性的较小模型。本文旨在从三个方面对当前计算机视觉中最先进的半监督学习框架SimCLR进行分析。首先，我们分析微调中对比学习的特性，因为我们认识到对比学习正是该方法成功的关键。其次，我们通过教师强制范式研究知识蒸馏，观察到当教师与学生共享同一基模型时，知识蒸馏会取得更好结果。最后，我们研究迁移学习如何运作及其与不同数据集上类别数的关系。我们的结果表明，当类别数较少时迁移学习表现更好。
引用
@article{arxiv.2108.00587,
title = {Semi-Supervising Learning, Transfer Learning, and Knowledge Distillation with SimCLR},
author = {Khoi Nguyen and Yen Nguyen and Bao Le},
journal= {arXiv preprint arXiv:2108.00587},
year = {2021}
}