近似乘法对卷积神经网络的影响
机器学习
2021-01-12 v2 计算机视觉与模式识别
信号处理
摘要
本文分析了在深度卷积神经网络（CNN）执行推理时近似乘法的影响。近似乘法可降低底层电路的成本，从而使 CNN 推理能在硬件加速器上更高效地执行。该研究识别了卷积层、全连接层与批归一化层中允许尽管存在近似乘法误差仍能获得更准 CNN 预测的关键因素。同样的因素也为 bfloat16 乘法在 CNN 上表现良好的现象提供了算术解释。实验采用公认的网络架构表明，无需额外训练，近似乘法器即可产生与 FP32 参考近乎一样准确的预测。例如，采用 Mitch-6 乘法的 ResNet 与 Inception-v4 模型所产生的 Top-5 误差与 FP32 参考相比在 0.2% 以内。文中给出了 Mitch-6 与 bfloat16 的简要成本对比，其中一次 MAC 运算相比 bfloat16 算术最多节省 80% 能耗。本文影响最深远的贡献在于从分析上论证了在 CNN 的 MAC 运算中乘法可被近似而加法须保持精确。
引用
@article{arxiv.2007.10500,
title = {The Effects of Approximate Multiplication on Convolutional Neural Networks},
author = {Min Soo Kim and Alberto A. Del Barrio and HyunJin Kim and Nader Bagherzadeh},
journal= {arXiv preprint arXiv:2007.10500},
year = {2021}
}
备注
12 pages, 11 figures, 4 tables, accepted for publication in the IEEE Transactions on Emerging Topics in Computing