Campfire：面向硬件加速器的可压缩、无正则化、结构化稀疏训练
机器学习
2020-01-14 v2 机器学习
摘要
本文研究 CNN 的结构化稀疏训练，采用一种渐进剪枝技术，在设定轮数后得到固定、稀疏的权重矩阵。我们简化了所强制稀疏性的结构，以降低正则化带来的开销。所提出的训练方法 Campfire 在卷积核与滤波器内部以不同粒度探索剪枝。我们研究了关于剪枝时长、稀疏度水平以及学习率配置的各种权衡。我们表明，我们的方法在完整 ImageNet 上创建了 ResNet-50 与 ResNet-50 v1.5 的稀疏版本，同时将精度损失保持在可忽略的 <1% 范围内。为确保此类稀疏训练不会损害网络鲁棒性，我们还展示了网络在对抗攻击存在下的行为。我们的结果显示，在 70% 目标稀疏度下，可实现超过 75% 的 top-1 准确率。
引用
@article{arxiv.2001.03253,
title = {Campfire: Compressible, Regularization-Free, Structured Sparse Training for Hardware Accelerators},
author = {Noah Gamboa and Kais Kudrolli and Anand Dhoot and Ardavan Pedram},
journal= {arXiv preprint arXiv:2001.03253},
year = {2020}
}