面向模拟神经形态计算的替代梯度方法
神经与进化计算
2021-05-21 v3 新兴技术
机器学习
神经元与认知
机器学习
摘要
为了以低代谢成本快速处理时间信息，生物神经元将输入积分成模拟总和，但通过脉冲（时间上的二值事件）进行通信。模拟神经形态硬件使用相同原理以卓越的能效模拟脉冲神经网络。然而，由于器件失配和缺乏高效训练算法，在此类硬件上实现高性能脉冲网络仍是一项重大挑战。在此，我们引入一种基于替代梯度的通用回路内学习框架，解决了这些问题。使用BrainScaleS-2神经形态系统，我们展示了学习可自动纠正器件失配，从而在视觉和语音基准上获得具有竞争力的脉冲网络性能。我们的网络表现出稀疏的脉冲活动，平均每个隐藏神经元和输入远少于一个脉冲，以高达85 k帧/秒的速率进行推理，且功耗低于200 mW。总之，我们的工作为模拟神经形态硬件上的低能耗脉冲网络处理确立了若干新基准，并为未来的片上学习算法铺平了道路。
引用
@article{arxiv.2006.07239,
title = {Surrogate gradients for analog neuromorphic computing},
author = {Benjamin Cramer and Sebastian Billaudelle and Simeon Kanya and Aron Leibfried and Andreas Grübl and Vitali Karasenko and Christian Pehle and Korbinian Schreiber and Yannik Stradmann and Johannes Weis and Johannes Schemmel and Friedemann Zenke},
journal= {arXiv preprint arXiv:2006.07239},
year = {2021}
}