内在知识：无数据模型压缩方法
机器学习
2020-04-08 v2 计算机视觉与模式识别
机器学习
摘要
近来，大量研究聚焦于深度神经网络(DNN)的压缩与加速。迄今为止，高压缩率算法需要部分训练数据集用于低精度校准或微调过程。然而，当数据不可用或包含敏感信息（如医疗和生物识别用例）时，这一要求是不可接受的。我们提出三种从训练模型中生成合成样本的方法。然后，我们展示这些样本如何用于在校准和微调量化模型时不使用任何真实数据。我们性能最佳的方法相较于原始训练集具有可忽略的精度下降。该方法利用了训练模型固有的批归一化层统计信息，可用于评估数据相似性。我们的方法开辟了通往真正无数据模型压缩的道路，缓解了模型部署期间对训练数据的需求。
引用
@article{arxiv.1912.01274,
title = {The Knowledge Within: Methods for Data-Free Model Compression},
author = {Matan Haroush and Itay Hubara and Elad Hoffer and Daniel Soudry},
journal= {arXiv preprint arXiv:1912.01274},
year = {2020}
}