探索深度神经网络中的位切片稀疏性以实现高效的基于 ReRAM 的部署
机器学习
2019-11-21 v2 机器学习
摘要
新兴的阻变随机存取存储器（ReRAM）近来被深入研究的以加速深度神经网络（DNNs）的处理。由于原位计算能力，模拟 ReRAM 交叉阵列相比传统数字方法取得了显著的吞吐提升与能耗降低。然而，高功耗的模数转换器（ADCs）阻碍了基于 ReRAM 的 DNN 加速器在芯片面积与功耗预算受限的终端设备上的实际部署。我们观察到，由于 ReRAM 单元的有限位密度，DNN 权重被位切片并相应存储在多个 ReRAM 位线上。由权重导致的位线上的累积电流直接决定了 ADCs 的开销。因此，对于高效的 ReRAM 部署，位级权重稀疏性而非完整权重的稀疏性才是所期望的。本工作中，我们提出位切片 L1，这是首个在动态定点 DNNs 训练过程中诱导位切片稀疏性的算法。实验结果显示，相较先前算法，我们的方法实现了 2 倍的稀疏性提升。所得稀疏性允许将 ADC 分辨率降至最高有效位切片的 1 位，其他位降至 3 位，从而显著加快处理并降低功耗与面积开销。
引用
@article{arxiv.1909.08496,
title = {Exploring Bit-Slice Sparsity in Deep Neural Networks for Efficient ReRAM-Based Deployment},
author = {Jingyang Zhang and Huanrui Yang and Fan Chen and Yitu Wang and Hai Li},
journal= {arXiv preprint arXiv:1909.08496},
year = {2019}
}
备注
To be appeared in the 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing (EMC2) co-located with NeurIPS 2019, Vancouver, Canada. (Oral presentation)