利用阻变电子突触训练概率图模型
神经与进化计算
2016-11-15 v2 分布式、并行与集群计算
新兴技术
摘要
当前深度学习和数据挖掘的大规模实现需要数千个处理器、海量片外存储器，并消耗千兆焦耳的能量。新兴存储技术，如纳米级两端阻变存储器件，提供了一种紧凑、可扩展且低功耗的替代方案，允许在细粒度分布式并行架构中实现片上协同定位的处理与存储。在此，我们首次报告了使用阻变存储器件来实现和训练受限玻尔兹曼机（RBM），这是一种作为深度网络无监督学习关键组件的生成式概率图模型。我们实验演示了一个由 90 个阻变相变存储（PCM）元件实现的 45 突触 RBM，该 RBM 采用对比散度（CD）算法的生物启发变体进行训练，实现了赫布和反赫布权重更新。在经过 30 个 epoch 训练的缺失像素模式补全任务中，与未训练情况相比，阻变 PCM 器件的错误率降低了两到十倍。使用阻变 PCM 器件测得的每个 epoch 编程能耗为 6.1 nJ，比传统处理器-存储器系统低约 150 倍。我们分析并讨论了学习性能对 PCM 模拟存储器件的循环间变化及渐变级数的依赖性。
引用
@article{arxiv.1609.08686,
title = {Training a Probabilistic Graphical Model with Resistive Switching Electronic Synapses},
author = {S. Burc Eryilmaz and Emre Neftci and Siddharth Joshi and SangBum Kim and Matthew BrightSky and Hsiang-Lan Lung and Chung Lam and Gert Cauwenberghs and H. -S. Philip Wong},
journal= {arXiv preprint arXiv:1609.08686},
year = {2016}
}
备注
Accepted for publication in IEEE Transactions on Electron Devices. This version is the submitted version