ADMM-NN：基于交替方向乘子法的深度神经网络算法-硬件协同设计框架
机器学习
2019-01-03 v1 人工智能
硬件体系结构
计算机视觉与模式识别
摘要
为促成深度神经网络（DNNs）的高效嵌入式与硬件实现，本文研究了两类重要的 DNN 模型压缩技术：权重剪枝与权重量化。前者利用权重数量上的冗余，后者利用权重位表示上的冗余。然而，目前缺乏 DNN 联合权重剪枝与量化的系统框架，从而限制了可用的模型压缩比。此外，除单纯的模型尺寸缩减外，还需考量计算削减、能效提升与硬件性能开销。为克服这些局限，我们提出 ADMM-NN，首个使用交替方向乘子法（ADMM，一种处理带可能组合约束的非凸优化问题的强有力技术）的 DNN 算法-硬件协同优化框架。ADMM-NN 的第一部分是基于 ADMM 的 DNN 权重剪枝与量化系统联合框架，可理解为一种正则化目标在每次 ADMM 迭代中动态更新的智能正则化技术，从而获得高于既往工作的模型压缩性能。第二部分是硬件感知的 DNN 优化以促进硬件级实现。在无精度损失下，我们在 LeNet-5 与 AlexNet 模型上分别实现 85 与 24 剪枝，显著高于既往工作。当关注计算削减时，改进更为显著。结合权重剪枝与量化，在关注数据存储时，我们在这两个基准上分别实现整体模型尺寸 1,910 与 231 的缩减。在其他代表性 DNN（如 VGGNet 与 ResNet-50）上也观察到极具前景的结果。
引用
@article{arxiv.1812.11677,
title = {ADMM-NN: An Algorithm-Hardware Co-Design Framework of DNNs Using Alternating Direction Method of Multipliers},
author = {Ao Ren and Tianyun Zhang and Shaokai Ye and Jiayu Li and Wenyao Xu and Xuehai Qian and Xue Lin and Yanzhi Wang},
journal= {arXiv preprint arXiv:1812.11677},
year = {2019}
}