使用内禀 Sigmoid 型自旋电子学概率神经元的低能耗深度信念网络
新兴技术
2018-06-13 v2
摘要
本文利用近零能垒概率自旋逻辑器件（p-bits）开发了深度信念网络（DBN）架构的低能耗硬件实现，这些器件被建模以实现内禀 Sigmoid 激活函数。我们设计了一种基于 CMOS/自旋的加权阵列结构来实现受限玻尔兹曼机（RBM）。基于精确物理关系的器件级仿真被用于验证 p-bit 输出概率与其输入电流之间的 Sigmoid 关系。在 SPICE 中对电阻网络和 p-bits 的特性进行建模，以执行电路级仿真，从而研究加权阵列在性能、面积和功耗方面的权衡。在应用级仿真中，使用提取的器件和电路行为模型在 MATLAB 中实现了用于数字识别的 DBN。使用 MNIST 数据集，通过 5,000 张训练图像评估了五种不同网络拓扑下 DBN 的准确率。结果表明，由 100 个样本训练的 784x10 DBN 的 36.8% 基线错误率，可以通过使用 5,000 个输入样本训练的 784x800x800x10 DBN 降低至仅 3.7%。最后，确定了使用电阻器件的概率计算机制在功耗与准确率之间的权衡。
引用
@article{arxiv.1710.00249,
title = {Low-Energy Deep Belief Networks using Intrinsic Sigmoidal Spintronic-based Probabilistic Neurons},
author = {Ramtin Zand and Kerem Yunus Camsari and Steven D. Pyle and Ibrahim Ahmed and Chris H. Kim and Ronald F. DeMara},
journal= {arXiv preprint arXiv:1710.00249},
year = {2018}
}
备注
ACM Great Lakes Symposium on VLSI (GLSVLSI), 2018