通过剪枝激活梯度加速 CNN 训练
机器学习
2020-07-21 v3 计算机视觉与模式识别
机器学习
摘要
稀疏化是加速 CNN 推理的一种高效方法，但在训练过程中利用稀疏性具有挑战性，因为所涉及的梯度是动态变化的。实际上，一个重要的观察表明，反向传播中的大多数激活梯度非常接近零，且仅对权重更新有微小影响。因此，我们根据激活梯度的统计分布，考虑随机剪枝这些极小的梯度以加速 CNN 训练。同时，我们从理论上分析了该剪枝算法对收敛性的影响。所提方法在 AlexNet 和 ResNet-{18, 34, 50, 101, 152} 上，使用 CIFAR-{10, 100} 和 ImageNet 数据集进行了评估。实验结果表明，我们的训练方法在反向传播阶段可大幅实现高达 5.92× 的加速，且精度损失可忽略不计。
引用
@article{arxiv.1908.00173,
title = {Accelerating CNN Training by Pruning Activation Gradients},
author = {Xucheng Ye and Pengcheng Dai and Junyu Luo and Xin Guo and Yingjie Qi and Jianlei Yang and Yiran Chen},
journal= {arXiv preprint arXiv:1908.00173},
year = {2020}
}
备注
accepted by ECCV 2020