对突触器件非理想性免疫的忆阻深度信念网络高效训练
信号处理
2022-03-18 v1 无序系统与神经网络
系统与控制
系统与控制
应用物理
摘要
各类新兴非易失性忆阻器件的电导态可调性模拟了生物突触的可塑性，使其在大规模神经形态系统的硬件实现中颇具前景。由忆阻器件交叉阵列一步完成的向量-矩阵乘法(VMM)可极大加速神经网络推理。然而，VMM 的实现需要复杂的外围电路，且由于忆阻器件的非理想性阻碍精确电导调节(尤其对在线训练)并大幅降低深度神经网络(DNNs)性能，其复杂性进一步增加。在此，我们提出一种忆阻深度信念网络(DBN)的高效在线训练方法。所提忆阻 DBN 采用随机二值化激活，降低了外围电路复杂度，并使用基于对比散度(CD)的梯度下降学习算法。模拟 VMM 与数字 CD 在混合信号硬件架构中分开执行，使忆阻 DBN 对突触器件非理想性具有高免疫性。对忆阻器件的写操作次数降低了两个数量级。利用多种忆阻突触器件的脉冲突触行为，在 MNIST 数据集上可达到 95%~97% 的识别准确率。
引用
@article{arxiv.2203.07884,
title = {Efficient Training of the Memristive Deep Belief Net Immune to Non-Idealities of the Synaptic Devices},
author = {Wei Wang and Barak Hoffer and Tzofnat Greenberg-Toledo and Yang Li and Minhui Zou and Eric Herbelin and Ronny Ronen and Xiaoxin Xu and Yulin Zhao and Jianguo Yang and Shahar Kvatinsky},
journal= {arXiv preprint arXiv:2203.07884},
year = {2022}
}