面向极稀疏神经网络的联合剪枝与量化
计算机视觉与模式识别
2020-10-06 v1
摘要
我们研究了深度神经网络的剪枝与量化。我们的目标是对量化网络实现极高的稀疏度，以便在低成本、低功耗的加速器硬件上实现部署。在实际场景中，密集预测任务的应用尤其广泛，因此我们选择立体深度估计作为目标。我们提出了一种两阶段剪枝与量化流程，并引入了泰勒分数（Taylor Score）以及一种新的微调模式，以在不牺牲性能的前提下实现极端稀疏度。我们的评估不仅表明剪枝与量化应当联合研究，还显示内存需求可削减近 99%，而硬件成本可降低高达 99.9%。此外，为与其他工作比较，我们证明仅我们的剪枝阶段应用于 ResNet 上的 CIFAR10 与 ImageNet 时便优于当前最优方法。
引用
@article{arxiv.2010.01892,
title = {Joint Pruning & Quantization for Extremely Sparse Neural Networks},
author = {Po-Hsiang Yu and Sih-Sian Wu and Jan P. Klopp and Liang-Gee Chen and Shao-Yi Chien},
journal= {arXiv preprint arXiv:2010.01892},
year = {2020}
}
备注
13 page, 16 figures