基于异构无标签数据集合的知识蒸馏
机器学习
2022-01-19 v1
摘要
压缩深度网络对于拓展其在资源受限场景下的应用范围至关重要。然而，压缩需求往往在模型训练完成很久之后才出现，此时原始数据可能已不再可用。另一方面，无标签数据（未必与目标任务相关）通常十分丰富，尤其在图像分类任务中。本工作中，我们提出一种方案，利用此类样本将大型教师网络学到的知识蒸馏给更小的学生网络。所提技术依赖于（i）优先采样看似相关的数据点，以及（ii）更好地利用学习信号。我们表明，前者加速了学生的收敛，而后者提升了其性能，达到了接近使用原始数据所预期的性能。
引用
@article{arxiv.2201.06507,
title = {Distillation from heterogeneous unlabeled collections},
author = {Jean-Michel Begon and Pierre Geurts},
journal= {arXiv preprint arXiv:2201.06507},
year = {2022}
}