大规模生成式无数据蒸馏
机器学习
2020-12-11 v1 计算机视觉与模式识别
摘要
知识蒸馏是知识迁移、模型压缩和半监督学习中最流行且最有效的技术之一。大多数现有蒸馏方法需要访问原始或增强的训练样本。但这在实践中可能因隐私、专有性和可用性问题而带来麻烦。近期工作提出了一些方法来解决该问题，但它们要么极其耗时，要么无法扩展到大型数据集。为此，我们提出一种新方法，通过利用训练好的教师网络固有的归一化层统计量来训练生成式图像模型。这使我们能够构建一个无需训练数据的生成器集成，可高效生成用于后续蒸馏的替代输入。所提方法将 CIFAR-10 和 CIFAR-100 上的无数据蒸馏性能分别提升至 95.02% 和 77.02%。此外，我们能够将其扩展到 ImageNet 数据集，据我们所知，这在无数据设定下使用生成模型从未实现过。
引用
@article{arxiv.2012.05578,
title = {Large-Scale Generative Data-Free Distillation},
author = {Liangchen Luo and Mark Sandler and Zi Lin and Andrey Zhmoginov and Andrew Howard},
journal= {arXiv preprint arXiv:2012.05578},
year = {2020}
}