基于多时间尺度脉冲循环神经网络的高效计算
神经与进化计算
2020-06-17 v2 机器学习
摘要
类脑神经形态计算作为边缘 AI 的一种范式正在兴起，这促使人们寻找能在该硬件上运行的高性能且高效的脉冲神经网络。然而，与深度学习中的经典神经网络相比，当前的脉冲神经网络在引人注目的领域缺乏有竞争力的性能。在这里，针对序列和流任务，我们展示了一种新型自适应脉冲循环神经网络（SRNN）如何能够与其他脉冲神经网络相比实现 SOTA 性能，并且在表现出稀疏活动的同时，几乎达到或超过经典循环神经网络（RNN）的性能。由此，我们计算出在更难的任务上，我们的 SRNN 比经典 RNN 的能效提升了 100 倍以上。为了实现这一点，我们将标准和自适应多时间尺度脉冲神经元建模为自循环神经单元，并在 PyTorch 深度学习框架中利用代理梯度和自动微分来高效实现随时间反向传播，包括对重要脉冲神经元参数的学习，以使我们的脉冲神经元适应任务。
引用
@article{arxiv.2005.11633,
title = {Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks},
author = {Bojian Yin and Federico Corradi and Sander M. Bohté},
journal= {arXiv preprint arXiv:2005.11633},
year = {2020}
}
备注
11 pages,5 figures