利用基于激活的梯度输出稀疏性加速CNN中的反向传播
机器学习
2021-09-17 v1 计算机视觉与模式识别
摘要
基于机器学习/深度学习(ML/DL)的技术正成为许多前沿技术的驱动力，在图像分类和目标检测等计算机视觉任务上取得了高精度。然而，训练这些包含大量参数的模型既耗时又耗能。在这方面，若干先前工作提倡利用稀疏性来加速DL训练，尤其是推理阶段。本工作从观察到训练过程中前向与反向传播的稀疏性相互关联出发。在此背景下，我们研究了基于梯度下降的优化算法中固有的两类稀疏性(输入型与输出型)，并提出了一种硬件微架构来利用该稀疏性。我们的实验结果在Imagenet数据集上使用五个最先进的CNN模型，显示出相比稠密基线执行，反向传播加速比为1.69至5.43。通过利用前向与反向传播中的稀疏性，相比稀疏无关基线执行，加速比提升范围为1.68至3.30。我们的工作相较于若干先前提出的基于稠密及稀疏加速器的平台，还显著减少了训练迭代时间，此外相比基于GPU的执行实现了数量级的能效提升。
引用
@article{arxiv.2109.07710,
title = {Exploiting Activation based Gradient Output Sparsity to Accelerate Backpropagation in CNNs},
author = {Anup Sarma and Sonali Singh and Huaipan Jiang and Ashutosh Pattnaik and Asit K Mishra and Vijaykrishnan Narayanan and Mahmut T Kandemir and Chita R Das},
journal= {arXiv preprint arXiv:2109.07710},
year = {2021}
}