利用未标记的不匹配图像进行知识蒸馏
计算机视觉与模式识别
2017-03-22 v1 机器学习
机器学习
摘要
当前的知识蒸馏 (KD) 方法要么直接使用训练数据，要么从训练数据分布中采样。在本文中，我们展示了使用“不匹配”的未标记刺激物对图像分类网络执行 KD 的有效性。作为说明，我们考虑了完全缺乏训练数据，或者必须使用不匹配的刺激物来增强少量训练数据的场景。我们表明，刺激物的复杂性是蒸馏获得良好性能的关键因素。我们的示例包括使用各种数据集来刺激 MNIST 和 CIFAR 教师网络。
引用
@article{arxiv.1703.07131,
title = {Knowledge distillation using unlabeled mismatched images},
author = {Mandar Kulkarni and Kalpesh Patil and Shirish Karande},
journal= {arXiv preprint arXiv:1703.07131},
year = {2017}
}