脉冲神经网络的时序代理反向传播
神经与进化计算
2020-11-20 v1 机器学习
摘要
与人工神经网络（ANN）相比，脉冲神经网络（SNN）通常更具能效优势，且其工作方式与我们的大脑高度相似。近年来，反向传播（BP）在训练 ANN 中展现出强大能力。然而，由于脉冲行为不可微，BP 无法直接应用于 SNN。尽管已有研究通过代理梯度或随机性在空间和时间方向上近似 BP 梯度，但它们忽略了各时间步之间由重置机制引入的时序依赖。本文旨在理论补全，并深入探究该缺失项的影响。通过加入重置机制的时序依赖，新算法在玩具数据集上对学习率调整更具鲁棒性，但在 CIFAR-10 等较大学习任务上提升有限。经验而言，该缺失项带来的收益不足以抵消额外的计算开销。在许多情况下，可忽略该缺失项。
引用
@article{arxiv.2011.09964,
title = {Temporal Surrogate Back-propagation for Spiking Neural Networks},
author = {Yukun Yang},
journal= {arXiv preprint arXiv:2011.09964},
year = {2020}
}
备注
4 pases, 3 figures, 3 tables, 10 eqs