CompRRAE：基于 RRAM 的卷积神经网络加速器，通过运行时激活估计减少计算量
信号处理
2019-06-10 v1 图像与视频处理
摘要
近来，阻变 RAM（RRAM）交叉阵列被用于卷积神经网络（CNNs）加速器的设计以缓解内存墙问题。然而，推理阶段在交叉阵列上执行的大量乘累加计算（MACs）仍是进一步提升能效与吞吐量的瓶颈。本工作中，我们探索了多种减少基于 RRAM 的 CNN 加速器计算量的方法。首先，利用广泛使用的修正线性单元所产生的输出稀疏性，通过及早检测负输出激活值来跳过大量计算。其次，提出一种自适应近似方法，当剩余计算的部分结果之和被认为处于中间累加结果的某一范围内、从而对推理贡献不显著时，提前终止 MAC。为确定这些冗余计算，开发了一种对每个输出激活值最大值与最小值的新型运行时估计，并在 MAC 操作中使用。实验结果表明，推理阶段约 70% 的计算可被减少，且精度损失可忽略（小于 0.2%）。因此，与最先进的基于 RRAM 的加速器相比，能效与吞吐量分别提升超过 2.9 倍和 2.8 倍。
引用
@article{arxiv.1906.03180,
title = {CompRRAE: RRAM-based Convolutional Neural Network Accelerator with Reduced Computations through a Runtime Activation Estimation},
author = {Xizi Chen and Jingyang Zhu and Jingbo Jiang and Chi-Ying Tsui},
journal= {arXiv preprint arXiv:1906.03180},
year = {2019}
}
备注
7 pages, 6 figures, Accepted by ASP-DAC 2019