基于模拟阻性突触的硬件神经网络中非对称非线性权重更新效应的缓解
机器学习
2017-12-19 v1 新兴技术
神经与进化计算
摘要
非对称非线性权重更新被视为实现基于模拟阻性突触的硬件神经网络的主要障碍之一，因为它会严重损害在线训练能力。本文通过与硬件适用的深度学习算法协同优化，为这一关键问题提供了新解决方案。关于工程化激活函数的新见解以及一种阈值权重更新方案，有效抑制了由不精确权重更新引起的不良训练噪声。我们利用极高非对称非线性的 6 位/8 位模拟突触，成功在线训练了一个两层感知机网络，并将 MNIST 手写数字数据集的分类准确率分别提升至 87.8%/94.8%。
引用
@article{arxiv.1712.05895,
title = {Mitigating Asymmetric Nonlinear Weight Update Effects in Hardware Neural Network based on Analog Resistive Synapse},
author = {Chih-Cheng Chang and Pin-Chun Chen and Teyuh Chou and I-Ting Wang and Boris Hudec and Che-Chia Chang and Chia-Ming Tsai and Tian-Sheuan Chang and Tuo-Hung Hou},
journal= {arXiv preprint arXiv:1712.05895},
year = {2017}
}
备注
IEEE Journal on Emerging and Selected Topics in Circuits and Systems 2017