硬件在环神经形态计算：在 BrainScaleS 晶圆级系统上训练深度脉冲网络
神经与进化计算
2017-08-04 v1
摘要
在模拟神经形态硬件上仿真脉冲神经网络，相较于在传统计算机上模拟，具有多项优势，尤其是在速度和能耗方面。然而，这通常以降低对仿真网络动态的控制为代价。本文展示了如何通过对硬件仿真网络进行迭代训练来补偿模拟基底引入的异常。我们首先将在软件中训练好的深度神经网络转换为 BrainScaleS 晶圆级神经形态系统上的脉冲网络，从而实现了相较于生物时间域 10,000 倍的加速因子。此映射之后是在环训练，即在每个训练步骤中，首先在硬件中记录网络活动，然后通过反向传播在软件中计算参数更新。一个关键发现是，参数更新不必精确，只需大致遵循正确的梯度方向，这简化了更新的计算。使用这种方法，仅经过几十次迭代，脉冲网络便展现出接近理想软件仿真原型的准确率。所展示的技术表明，在模拟神经形态器件上仿真的深度脉冲网络，尽管模拟基底存在固有变异，仍能获得良好的计算性能。
引用
@article{arxiv.1703.01909,
title = {Neuromorphic Hardware In The Loop: Training a Deep Spiking Network on the BrainScaleS Wafer-Scale System},
author = {Sebastian Schmitt and Johann Klaehn and Guillaume Bellec and Andreas Gruebl and Maurice Guettler and Andreas Hartel and Stephan Hartmann and Dan Husmann and Kai Husmann and Vitali Karasenko and Mitja Kleider and Christoph Koke and Christian Mauch and Eric Mueller and Paul Mueller and Johannes Partzsch and Mihai A. Petrovici and Stefan Schiefer and Stefan Scholze and Bernhard Vogginger and Robert Legenstein and Wolfgang Maass and Christian Mayr and Johannes Schemmel and Karlheinz Meier},
journal= {arXiv preprint arXiv:1703.01909},
year = {2017}
}
备注
8 pages, 10 figures, submitted to IJCNN 2017