面向卷积神经网络加速器设计的块浮点运算计算误差分析
机器学习
2017-11-27 v2
摘要
繁重的计算与片外数据搬运负担阻碍了大规模卷积神经网络在嵌入式平台上的部署。由于卷积神经网络对计算误差具有较强容忍性，在CNN加速器中采用块浮点（BFP）算术可有效节省硬件成本与数据流量，同时保持分类精度。本文在不重新训练的条件下，验证了BFP中字宽定义对CNN性能的影响。实验测试了包括VGG16、ResNet-18、ResNet-50和GoogLeNet在内的几种典型CNN模型。实验表明，BFP表示中使用包含符号位在内的8位尾数仅导致不足0.3%的精度损失。此外，我们从理论上研究了计算误差，并推导出噪信比（NSR）上界，为基于BFP的CNN引擎设计提供了有前景的指导。
引用
@article{arxiv.1709.07776,
title = {Computation Error Analysis of Block Floating Point Arithmetic Oriented Convolution Neural Network Accelerator Design},
author = {Zhourui Song and Zhenyu Liu and Dongsheng Wang},
journal= {arXiv preprint arXiv:1709.07776},
year = {2017}
}
备注
Accepted by AAAI-2018