模拟存内计算推理引擎的精度与弹性
信号处理
2020-08-07 v1 新兴技术
摘要
近来，基于新兴模拟非易失性存储器（NVM）技术的模拟存内计算（CIM）架构被探索用于深度神经网络（DNN）以提升能效。然而，此类架构利用电荷守恒这一具有无限分辨率的运算，因此易受误差影响。由模拟 NVM 实现的 DNN 计算由于器件随机性而具有高度不确定性。若干报道已在有限规模上展示了模拟 NVM 用于 CIM。目前尚不清楚计算中的不确定性是否会阻碍大规模 DNN。为探究这一关键的可扩展性问题，本文首先提出一个仿真框架，以评估基于 CIM 架构和模拟 NVM 的大规模 DNN 的可行性。仿真结果表明，为高精度数字计算引擎训练的 DNN 对模拟 NVM 器件的不确定性不具备弹性。为避免此类灾难性失效，本文引入 DNN 的模拟浮点表示，以及 Hessian 感知随机梯度下降（HA-SGD）训练算法，以提升训练后 DNN 的推理精度。得益于这些增强，诸如用于 CIFAR-100 图像识别问题的 Wide ResNet 等 DNN 被证明在精度上取得显著改善，且未给推理硬件增加成本。
引用
@article{arxiv.2008.02400,
title = {Accuracy and Resiliency of Analog Compute-in-Memory Inference Engines},
author = {Zhe Wan and Tianyi Wang and Yiming Zhou and Subramanian S. Iyer and Vwani P. Roychowdhury},
journal= {arXiv preprint arXiv:2008.02400},
year = {2020}
}