逐层无数据 CNN 压缩
计算机视觉与模式识别
2022-05-23 v3
摘要
我们提出了一种在不使用真实数据的情况下压缩已训练神经网络的计算高效方法。我们将无数据网络压缩问题分解为独立的逐层压缩。我们展示了如何仅使用预训练网络来高效生成逐层训练数据。我们使用这些数据对预训练网络执行独立的逐层压缩。我们还展示了如何对网络进行预处理以提高逐层压缩方法的准确性。我们给出了使用量化和剪枝进行逐层压缩的结果。在量化时，我们以比相关工作更少的计算量实现了更高的压缩精度。在压缩 MobileNetV2 并在 ImageNet 上评估时，我们的方法在所有位宽下的量化均优于现有方法，在 位量化中实现了 的提升，在更低位宽下提升更大（在 位时提升高达 ）。在剪枝时，我们在相似的计算量下优于基线，在相同精度下实现了 倍的稀疏率。我们还展示了如何将我们的高效方法与高计算量的生成方法相结合以改进其结果。
引用
@article{arxiv.2011.09058,
title = {Layer-Wise Data-Free CNN Compression},
author = {Maxwell Horton and Yanzi Jin and Ali Farhadi and Mohammad Rastegari},
journal= {arXiv preprint arXiv:2011.09058},
year = {2022}
}