数据驱动的基于神经形态 DRAM 的 CNN 与 RNN 加速器
计算机视觉与模式识别
2020-03-31 v1 神经与进化计算
摘要
在硬件加速器上运行大型深度神经网络 (DNNs) 所消耗的能量主要取决于需要大量快速存储器来存储状态和权重。这一所需的大容量存储器目前仅通过 DRAM 才具经济可行性。尽管 DRAM 是高吞吐、低成本存储器（成本比 SRAM 低 20 倍），但其长随机访问延迟不利于脉冲神经网络 (SNNs) 中不可预测的访问模式。此外，从 DRAM 访问数据的能耗比用该数据进行算术运算高数个数量级。若本地存储器可用且产生少量脉冲，SNNs 是节能的。本文报道了过去 5 年中我们开发的卷积与循环深度神经网络硬件加速器，其利用类似 SNNs 的空间或时间稀疏性，但即便使用 DRAM 存储大型 DNNs 所需的权重与状态，也实现了 SOTA 吞吐率、功率效率与延迟。
引用
@article{arxiv.2003.13006,
title = {Data-Driven Neuromorphic DRAM-based CNN and RNN Accelerators},
author = {Tobi Delbruck and Shih-Chii Liu},
journal= {arXiv preprint arXiv:2003.13006},
year = {2020}
}
备注
To appear in 2019 IEEE Sig. Proc. Soc. Asilomar Conference on Signals, Systems, and Computers Session MP6b: Neuromorphic Computing (Invited)