融合生物启发神经动力学的深度学习
神经与进化计算
2021-03-18 v2
摘要
神经网络已成为人工智能的关键技术，并主要得益于应用于人工神经网络(ANNs)的深度学习的进展，在若干机器学习任务中取得突破。与此同时，采用具有生物学可行性的脉冲神经元的脉冲神经网络(SNNs)因其丰富的时序动力学与高功率效率而极具前景。然而，SNNs的发展一直与ANNs分头推进，实际上限制了深度学习研究见解的采纳。在此我们给出一种关于脉冲神经元的另类视角，将其视为一种称为脉冲神经单元(SNU)的特定ANN构造，以及将其动力学推广为一种新型循环ANN单元的软SNU(sSNU)变体。SNU桥接了生物启发的SNNs与ANNs，并为在深度学习架构中无缝纳入脉冲神经元提供了方法学。此外，SNU实现了通过时间反向传播训练的SNNs的高效存内加速，并以硬件在环方式实现。我们将SNU应用于从手写数字识别、语言建模到音乐预测等任务。我们获得了与最先进ANNs相当或更优的精度，并借助52,800个相变存储器件实验验证了基于存内的SNN实现在音乐预测任务中的有效性。本文引入的新一代神经单元将生物启发的神经动力学融入深度学习。此外，它们为训练神经形态计算硬件提供了系统方法学。因此，它们为SNNs在实际应用中的广泛采纳开辟了新途径。
引用
@article{arxiv.1812.07040,
title = {Deep learning incorporating biologically-inspired neural dynamics},
author = {Stanisław Woźniak and Angeliki Pantazi and Thomas Bohnstingl and Evangelos Eleftheriou},
journal= {arXiv preprint arXiv:1812.07040},
year = {2021}
}