基于生物-硬件混合神经网络的推理
神经与进化计算
2019-09-06 v2 机器学习
神经元与认知
摘要
为理解大脑中的学习过程，人们通过建模详细的神经元特性与动力学探索了生物可信（bio-plausible）算法。另一方面，简化的多层神经网络模型在图像分类与语音识别等计算任务上取得了巨大成功。然而，能为这些学习任务取得良好精度的计算模型与生物可信模型差异很大。本文研究体外活体神经网络的生物可信模型是否可用于执行机器学习任务并取得良好推理精度。提出了一种新颖的双层生物-硬件混合神经网络。生物层忠实建模了体外活体神经网络中突触、神经元及网络稀疏性的变化。硬件层为计算型全连接层，通过调参优化精度。提出了若干技术以提升所提混合神经网络的推理精度。例如，自适应预处理技术帮助所提神经网络针对不同活体神经网络稀疏性取得良好学习精度。该具有真实神经元参数与变化的混合神经网络在完整MNIST数据集的手写数字识别任务上取得了98.3%的测试精度。
引用
@article{arxiv.1905.11594,
title = {Inference with Hybrid Bio-hardware Neural Networks},
author = {Yuan Zeng and Zubayer Ibne Ferdous and Weixiang Zhang and Mufan Xu and Anlan Yu and Drew Patel and Xiaochen Guo and Yevgeny Berdichevsky and Zhiyuan Yan},
journal= {arXiv preprint arXiv:1905.11594},
year = {2019}
}