RED++：通过输入拆分与输出合并的深度神经网络无数据剪枝
机器学习
2021-10-05 v1 计算机视觉与模式识别
摘要
深度神经网络（DNNs）剪枝是实现推理运行加速的一项重要研究领域。本文提出一种新颖的无数据剪枝方案 RED++。该方法仅需一个训练好的神经网络，且不依赖于特定 DNN 架构，我们利用一种自适应无数据标量哈希，其能显现神经元权重值之间的冗余。我们研究了该哈希在保持精度方面的理论与经验保证，以及由利用上述冗余所带来的预期剪枝比。我们提出了一种新颖的 DNN 层无数据剪枝技术，可去除输入层面的冗余操作。该算法简单直接、可并行化，并通过将大量计算负担转移为高效的内存访问与分配，为 DNN 剪枝提供了新视角。我们给出了 RED++ 性能的理论保证，并通过实验在 ResNets、MobileNets 和 EfficientNets 上证明了其优于其他无数据剪枝方法，且与数据驱动方法具有竞争力。
引用
@article{arxiv.2110.01397,
title = {RED++ : Data-Free Pruning of Deep Neural Networks via Input Splitting and Output Merging},
author = {Edouard Yvinec and Arnaud Dapogny and Matthieu Cord and Kevin Bailly},
journal= {arXiv preprint arXiv:2110.01397},
year = {2021}
}
备注
18 pages, 10 figures