ALWANN：无需重训练的深度神经网络加速器自动逐层近似
神经与进化计算
2020-01-31 v2 机器学习
摘要
最先进的方法采用近似计算来降低 DNN 硬件的能耗。近似 DNN 随后需要大量重训练，以从近似运算引起的精度损失中恢复。然而，复杂 DNN 的重训练难以良好扩展。本文中，我们证明可在 DNN 加速器的计算路径中引入高效近似，同时完全避免重训练。ALWANN 为定制低功耗加速器提供高度优化的 DNN 实现，其中计算单元数量少于 DNN 层数。首先，将完全训练好的 DNN 转换为在卷积层中以 8-bit 权重和 8-bit 乘法器运行。然后从近似乘法器库中为每个计算元素选择合适的近似乘法器，使得（i）一个近似乘法器服务于若干层，且（ii）总体分类误差与能耗最小化。包括乘法器选择问题在内的优化通过多目标优化 NSGA-II 算法求解。为完全避免通常用于提升分类精度的、计算昂贵的 DNN 重训练，我们提出一种简单的权重更新方案，以补偿采用近似乘法器引入的不精确性。所提方法针对两种 DNN 加速器架构进行评估，使用了开源“EvoApprox”库中的近似乘法器。我们报告称，所提方法在 ResNet-50 的卷积层中节省了 30% 的乘法能耗，而精度仅下降 0.6%。所提技术与近似层作为 TensorFlow 的开源扩展在 https://github.com/ehw-fit/tf-approximate 提供。
引用
@article{arxiv.1907.07229,
title = {ALWANN: Automatic Layer-Wise Approximation of Deep Neural Network Accelerators without Retraining},
author = {Vojtech Mrazek and Zdenek Vasicek and Lukas Sekanina and Muhammad Abdullah Hanif and Muhammad Shafique},
journal= {arXiv preprint arXiv:1907.07229},
year = {2020}
}
备注
Accepted for 2019 IEEE/ACM International Conference On Computer-Aided Design (ICCAD'19)