基于低分辨率随机畴壁突触的深度神经网络的高效节能学习
介观与纳米尺度物理
2023-05-18 v1 无序系统与神经网络
机器学习
摘要
我们证明，与采用浮点精度突触权重的相似规模深度神经网络(DNNs)相比，具有畴壁(DW)位置大随机涨落的极低分辨率量化(标称5态)突触既能实现高能效，又能获得合理较高的测试准确率。具体而言，电压控制的DW器件表现出随机行为，这已通过微磁模拟严格建模，且只能编码有限状态；然而，它们在训练和推理过程中都极为节能。我们表明，通过对学习算法进行适当修改，可以应对随机行为并减轻其低分辨率的影响，从而实现高测试准确率。在本研究中，我们提出了基于Hubara等人[1]所提算法的改进的原位(in-situ)和离位(ex-situ)训练算法，该算法适用于突触权重量化。我们在MNIST数据集上使用2态、3态和5态DW器件作为突触训练了多个5层DNN。对于原位训练，采用独立的高精度存储单元来保存和累积权重梯度，随后将其量化以编程低精度DW器件。此外，训练过程中使用了较大的噪声容限以应对固有编程噪声。对于离位训练，首先基于表征的DW器件模型和类似于原位训练的噪声容限训练一个前置DNN。值得注意的是，对于原位推理，鉴于在整个MNIST数据集上训练10个周期，每次推理编程器件的能耗仅为13 pJ。
引用
@article{arxiv.2111.07284,
title = {Energy Efficient Learning with Low Resolution Stochastic Domain Wall Synapse Based Deep Neural Networks},
author = {Walid A. Misba and Mark Lozano and Damien Querlioz and Jayasimha Atulasimha},
journal= {arXiv preprint arXiv:2111.07284},
year = {2023}
}