ClickTrain：通过细粒度保结构剪枝实现高效准确的端到端深度学习训练
计算机视觉与模式识别
2021-05-04 v4 分布式、并行与集群计算
摘要
由于对预测精度与分析质量的需求不断增长，卷积神经网络（CNNs）正变得日益更深、更宽且更非线性。然而，宽而深的 CNN 需要大量计算资源与处理时间。许多已有工作研究模型剪枝以提升推理性能，但针对有效降低训练成本的工作甚少。本文中，我们提出 ClickTrain：一种用于 CNN 的高效准确的端到端训练与剪枝框架。与已有的训练期剪枝工作不同，ClickTrain 通过细粒度保结构剪枝提供更高的模型精度与压缩比。通过利用基于模式的剪枝，结合我们提出的准确权重重要性估计、动态模式生成与选择，以及编译器辅助的计算优化，ClickTrain 生成高度准确且快速的剪枝 CNN 模型，可直接部署而无任何额外时间开销，相较于基线训练。ClickTrain 还将剪枝后训练方法的端到端时间成本降低多达 2.3 倍，且精度与压缩比相当。此外，相较于最先进的训练期剪枝方法，在相似有限训练时间下，ClickTrain 在所测试的 CNN 模型与数据集上于精度与压缩比方面均提供显著改进。
引用
@article{arxiv.2011.10170,
title = {ClickTrain: Efficient and Accurate End-to-End Deep Learning Training via Fine-Grained Architecture-Preserving Pruning},
author = {Chengming Zhang and Geng Yuan and Wei Niu and Jiannan Tian and Sian Jin and Donglin Zhuang and Zhe Jiang and Yanzhi Wang and Bin Ren and Shuaiwen Leon Song and Dingwen Tao},
journal= {arXiv preprint arXiv:2011.10170},
year = {2021}
}
备注
12 pages, 15 figures, 2 tables, published by ICS'21