神经形态基底上的脑启发学习

神经形态硬件力求模拟类脑神经网络，从而有望在时序数据流上实现可扩展、低功耗的信息处理。然而，要解决现实世界问题，这些网络需要被训练。但是，由于在神经形态基底上进行训练具有离线特性以及基于梯度的学习算法所需的非局部计算，这带来了重大挑战。本文为神经形态基底上实用在线学习算法的设计提供了一个数学框架。具体而言，我们展示了实时循环学习（RTRL，一种用于常规循环神经网络（RNN）中计算梯度的在线算法）与用于训练脉冲神经网络（SNN）的生物学合理学习规则之间的直接联系。此外，我们提出了一种基于块对角雅可比矩阵的稀疏近似，其降低了算法的计算复杂度，减少了非局部信息需求，并且在经验上带来了良好的学习性能，从而提升了其对神经形态基底的适用性。总之，我们的框架弥合了突触可塑性与深度学习基于梯度方法之间的鸿沟，并为未来神经形态硬件系统上的强大信息处理奠定了基础。