面向低功耗神经形态硬件的人工循环神经网络到脉冲神经网络的转换
神经与进化计算
2016-01-19 v1
摘要
近年来，消耗数量级更低功耗的神经形态低功耗系统领域获得了显著发展。然而，缺乏能够利用此类架构优势算法的现状仍阻碍其更广泛应用。尽管表示学习算法的神经形态适配正不断涌现，时序序列或变长输入的高效处理仍十分困难。循环神经网络（RNN）广泛用于机器学习以解决多种序列学习任务。本工作中，我们提出一种“训练-约束”（train-and-constrain）方法，能够将机器学习的（Elman）RNN映射至脉冲神经元基底，同时兼容当前及近未来神经形态系统的能力。该“训练-约束”方法首先使用时间反向传播训练RNN，然后离散化权重，最后通过匹配人工神经元与脉冲神经元的响应将其转为脉冲RNN。我们通过映射自然语言处理任务（问题分类）来展示该方法，其中演示了网络循环层在IBM神经突触系统“TrueNorth”（一种基于脉冲的数字神经形态硬件架构）上的完整映射过程。TrueNorth对连接性、神经元和突触参数施加了特定约束。为满足这些约束，必须将突触权重和神经元活动离散化为16级，并将扇入限制为64个输入。我们发现，在问题分类任务中，短突触延迟足以实现RNN的动态（时间）方面。该硬件约束模型在问题分类中达到74%准确率，同时使用的核心数不足一个TrueNorth芯片的0.025%，估计功耗约17 uW。
引用
@article{arxiv.1601.04187,
title = {Conversion of Artificial Recurrent Neural Networks to Spiking Neural Networks for Low-power Neuromorphic Hardware},
author = {Peter U. Diehl and Guido Zarrella and Andrew Cassidy and Bruno U. Pedroni and Emre Neftci},
journal= {arXiv preprint arXiv:1601.04187},
year = {2016}
}