使用基于电荷捕获闪存的权重矩阵通过随机计算实现软件级精度

基于新兴存储器件的存内计算范式近来被证明是加速深度学习的一种有前景的方法。电阻处理单元（RPU）被提出以在交叉阵列中使用相同脉冲的随机序列实现向量-向量外积，从而实现一次性权重更新，有望在构成神经网络训练主体的矩阵乘法运算中实现大幅加速。然而，若器件不满足约 1,000 个电导层级上的线性电导变化条件，系统性能会受损。这对纳米级存储器而言是一项挑战。近来，电荷捕获闪存（CTF）存储器被证明在饱和前具有大量层级，但存在可变的非线性。在本文中，我们探讨电导变化范围与线性度之间的权衡。通过仿真我们表明，在范围的优化选择下，我们的系统性能几乎与采用精确浮点运算训练的模型相当，性能下降小于 1%。我们的系统在 MNIST 数据集上达到 97.9% 的准确率，在 CIFAR-10 和 CIFAR-100 数据集（使用预提取特征）上分别达到 89.1% 和 70.5% 的准确率。我们还展示了其在强化学习中的用途，其中它用于 Q-Learning 中的值函数逼近，并学会以约 146 步完成山地车控制问题的回合。与最先进技术相比，基于 CTF 的 RPU 展现出同类最佳的、可实现软件等效性能的表现。