面向深度神经网络的无数据知识蒸馏
机器学习
2017-11-27 v2
摘要
模型压缩领域的最新进展提供了将大型神经网络压缩至原始规模一小部分，同时保留大部分甚至全部精度的流程。然而，所有这些方法都依赖于对原始训练集的访问，如果要压缩的网络是在一个非常大的数据集上训练的，或者该数据集的发布涉及隐私或安全问题（如生物特征识别任务中可能出现的情况），则可能无法访问原始训练集。我们提出了一种无数据知识蒸馏方法，能够将在大规模数据集上训练的深度神经网络压缩至其规模的一小部分，仅需利用预训练模型发布时提供的一些额外元数据。我们还探索了可用于我们方法的不同类型元数据，并讨论了使用每种元数据所涉及的权衡。
引用
@article{arxiv.1710.07535,
title = {Data-Free Knowledge Distillation for Deep Neural Networks},
author = {Raphael Gontijo Lopes and Stefano Fenu and Thad Starner},
journal= {arXiv preprint arXiv:1710.07535},
year = {2017}
}
备注
Accepted to NIPS 2017 Workshop on Learning with Limited Data. Under review at AISTATS 2018