基于仿真近似乘法器的深度学习训练
机器学习
2020-04-21 v2 计算机视觉与模式识别
性能
图像与视频处理
机器学习
摘要
本文通过仿真展示了如何利用近似乘法器来提升卷积神经网络(CNNs)的训练性能。与精确乘法器相比，近似乘法器在速度、功耗和面积方面具有显著更优的性能。然而，近似乘法器存在不精确性，其由平均相对误差(MRE)来定义。为评估近似乘法器在提升CNN训练性能方面的适用性，本文给出了近似乘法器误差对CNN训练影响的仿真。论文表明，使用近似乘法器进行CNN训练能以对所得精度产生微小负面影响为代价，在速度、功耗和面积方面显著提升性能。此外，论文提出了一种混合训练方法，可缓解这种对精度的负面影响。使用所提混合方法，训练可先使用近似乘法器，然后在最后几个周期切换为精确乘法器。利用该方法，可在训练阶段的大部分过程中获得近似乘法器在速度、功耗和面积上的性能收益，而通过在训练最后周期使用精确乘法器，对精度的负面影响得以消除。
引用
@article{arxiv.2001.00060,
title = {Deep Learning Training with Simulated Approximate Multipliers},
author = {Issam Hammad and Kamal El-Sankary and Jason Gu},
journal= {arXiv preprint arXiv:2001.00060},
year = {2020}
}
备注
Presented at: IEEE International Conference on Robotics and Biomimetics (ROBIO) 2019, Dali, China, December 2019. WINNER OF THE MOZI BEST PAPER IN AI AWARD