硬件约束下的基于奖励的学习——在神经形态基底中嵌入RISC处理器
神经元与认知
2013-08-21 v2
摘要
在本研究中，我们提出并通过仿真分析了一种在晶圆级加速神经形态硬件系统中实现突触可塑性的新型高灵活性方法。本研究以全局调制的STDP作为该方法的一个特例。通过在晶圆中嵌入一个专用于可塑性的通用处理器来实现灵活性。为了评估所提出系统的适用性，我们在脉冲序列学习任务中使用了奖励调制的STDP规则。训练单层神经元在特定时间点发放，仅以奖励作为反馈。通过仿真测量该模型的性能，即学习后获得的奖励增加量。以此性能为基准，我们随后在施加所提出实现方案的各种约束条件下仿真模型，并比较性能。模拟的约束包括离散化的突触权重、模拟突触与嵌入式处理器之间的受限接口以及模拟电路的失配。我们发现概率更新可以提高低分辨率权重的性能，模拟突触与处理器之间的简单接口足以进行学习，并且性能对失配不敏感。此外，我们考虑了晶圆与模拟环境的传统控制计算机系统之间的通信延迟。该延迟增加了奖励发送到嵌入式处理器的时延。由于模拟突触的连续时间运行，延迟可能导致更新与无延迟情况相比出现偏差。我们发现对于高度加速的系统，延迟必须保持在最小。本研究证明了所提出的实现方案适用于模拟选定的奖励调制STDP学习规则。
引用
@article{arxiv.1303.6708,
title = {Reward-based learning under hardware constraints - Using a RISC processor embedded in a neuromorphic substrate},
author = {Simon Friedmann and Nicolas Frémaux and Johannes Schemmel and Wulfram Gerstner and Karlheinz Meier},
journal= {arXiv preprint arXiv:1303.6708},
year = {2013}
}
备注
37 pages, 11 figures, to be published in Frontiers in Neuromorphic Engineering. This version contains major additions to the result and discussion parts