使用电子突触器件的硬件深度神经网络的自适应学习规则
神经与进化计算
2018-08-02 v2 新兴技术
摘要
本文提出了一种基于反向传播（BP）算法的学习规则，可应用于使用具有离散且有限电导特性电子器件的硬件深度神经网络（HW-DNN）。这种能够在硬件中实现前向传播、反向传播以及权重更新的自适应学习规则，有助于实现高能效和高速的深度神经网络。在使用三层感知机网络的仿真中，我们评估了不同电子突触器件电导响应和权重更新方法下的学习性能。结果表明，当电子突触器件具有高动态范围的线性电导响应时，其学习精度与使用基于软件的 BP 算法获得的学习精度相当。此外，本文提出的单向权重更新方法适用于具有非线性和有限电导响应的电子突触器件。由于该权重更新方法能够补偿非对称权重更新的缺点，与其他方法相比，我们可以获得更好的精度。这种可应用于全硬件实现的自适应学习规则，还能够补偿实际电子突触器件中由于可能存在的器件间差异所导致的学习精度退化。
引用
@article{arxiv.1707.06381,
title = {Adaptive Learning Rule for Hardware-based Deep Neural Networks Using Electronic Synapse Devices},
author = {Suhwan Lim and Jong-Ho Bae and Jai-Ho Eum and Sungtae Lee and Chul-Heung Kim and Dongseok Kwon and Byung-Gook Park and Jong-Ho Lee},
journal= {arXiv preprint arXiv:1707.06381},
year = {2018}
}