动态运行时特征图剪枝
机器学习
2019-04-03 v2 计算机视觉与模式识别
摘要
高带宽需求是加速深度神经网络训练和推理的障碍。以往多数研究聚焦于缩减推理时核图的大小。我们分析了六种流行卷积神经网络——AlexNet、MobileNet、ResNet-50、SqueezeNet、TinyNet 和 VGG16——的参数稀疏性。在所考虑的网络中，使用 ReLU 的那些（AlexNet、SqueezeNet、VGG16）含有高比例的零值参数，可被静态剪枝。某些情况下使用非 ReLU 激活函数的网络可能不含任何零值参数（ResNet-50、TinyNet）。我们还考察了运行时特征图的使用情况，发现当使用深度可分离卷积和逐点卷积时，输入特征图占据了带宽需求的大部分。我们引入特征图的动态运行时剪枝，并表明可移除 10% 的动态特征图执行而不损失精度。我们进一步将动态剪枝扩展为允许零的 epsilon 邻域内的值，并展示在 top-1 精度损失 1% 的情况下进一步减少 5% 的特征图加载。
引用
@article{arxiv.1812.09922,
title = {Dynamic Runtime Feature Map Pruning},
author = {Tailin Liang and Lei Wang and Shaobo Shi and John Glossner},
journal= {arXiv preprint arXiv:1812.09922},
year = {2019}
}