混合CMOS-OxRAM深度生成式架构的设计探索
新兴技术
2018-01-09 v1 神经与进化计算
摘要
深度学习及其应用近来在学术界与工业界引起了巨大兴趣。受限玻尔兹曼机(RBM)为实现深度学习范式提供了一种关键方法。本文提出一种实现基于混合CMOS-OxRAM的深度生成式模型(DGM)的新方法。在我们提出的混合DGM架构中，广泛采用基于HfOx(细丝型开关)的OxRAM器件来实现多种计算与非计算功能，例如：(i)突触(权重)，(ii)内部神经元状态存储，(iii)随机神经元激活以及(iv)可编程信号归一化。为验证所提方案，我们仿真了两种不同的架构：(i)深度信念网络(DBN)与(ii)堆叠去噪自编码器，用于对来自6000幅图像的精简MNIST数据集的手写数字进行分类与重建。采用专门针对OxRAM器件优化的对比散度(CD)来驱动网络中每一层的突触权重更新机制。整体学习规则基于贪心逐层学习且无反向传播，这使得网络能够被训练至良好的预训练阶段。所仿真的混合CMOS-RRAM DGM模型的性能与基于软件的2层深度网络模型密切吻合。DBN取得的Top-3测试准确率为95.5%。SDA网络的均方误差(MSE)为0.003，低于基于软件的方法。对所仿真架构的耐久分析表明，在200轮训练(单层RBM)中，每个OxRAM器件的最大开关事件约为7000次循环。
引用
@article{arxiv.1801.02003,
title = {Design Exploration of Hybrid CMOS-OxRAM Deep Generative Architectures},
author = {Vivek Parmar and Manan Suri},
journal= {arXiv preprint arXiv:1801.02003},
year = {2018}
}