利用生物可信奖励传播调谐卷积脉冲神经网络
神经与进化计算
2021-06-01 v3 人工智能
摘要
脉冲神经网络（SNNs）比标准人工神经网络（ANNs）含有更具生物真实性的结构与生物启发的学习原理。SNNs 被视为 ANNs 的第三代，在以低计算成本进行鲁棒计算方面表现强大。SNNs 中的神经元不可微，包含衰减的历史状态，并在状态达到发放阈值后生成基于事件的脉冲。SNNs 的这些动态特性使其难以用标准反向传播（BP）直接训练，而 BP 也被认为不具备生物可信性。本文提出一种生物可信奖励传播（BRP）算法，并应用于兼具脉冲卷积（含 1D 与 2D 卷积核）与全连接层的 SNN 架构。与标准 BP 将误差信号逐层从突触后神经元传向突触前神经元不同，BRP 将目标标签而非误差直接从输出层传播至所有前隐层。这一做法与新皮层皮层柱中自上而下的奖励引导学习更为一致。仅利用局部梯度差的突触修正由伪 BP 诱发，其也可能被脉冲时序依赖可塑性（STDP）替代。所提出的 BRP-SNN 性能在空间（含 MNIST 与 Cifar-10）与时序（含 TIDigits 与 DvsGesture）任务上得到进一步验证，其中使用 BRP 的 SNN 达到了与其他最先进基于 BP 的 SNNs 相似的准确率，并比 ANNs 节省 50% 以上的计算成本。我们认为，将生物可信学习规则引入具生物真实性的 SNNs 训练过程，将为我们更好理解生物系统智能本质提供更多线索与启发。
引用
@article{arxiv.2010.04434,
title = {Tuning Convolutional Spiking Neural Network with Biologically-plausible Reward Propagation},
author = {Tielin Zhang and Shuncheng Jia and Xiang Cheng and Bo Xu},
journal= {arXiv preprint arXiv:2010.04434},
year = {2021}
}
备注
Final Version. Accepted by IEEE Transactions on Neural Networks and Learning Systems