通过梯度重加权实现脉冲神经网络的时间高效训练
神经与进化计算
2022-05-17 v3 人工智能
摘要
近来,受脑启发的脉冲神经网络(SNNs)因其事件驱动与高能效特性引起了广泛研究兴趣。然而,由于其激活函数不可微,难以高效训练深层SNN,这使其无法使用传统人工神经网络(ANNs)中典型的梯度下降方法。尽管采用替代梯度(SG)在形式上允许损失反向传播,离散脉冲机制实际上使SNN的损失景观不同于ANN,导致替代梯度方法无法达到与ANN相当的精度。本文首先分析了当前带替代梯度的直接训练方法为何导致SNN泛化性差。随后我们引入时间高效训练(TET)方法来补偿SG梯度下降中动量的损失,使训练过程收敛到更平坦极小值并具有更好泛化性。同时,我们证明TET改善了SNN的时间可扩展性并诱导出用于加速的时间可继承训练。我们的方法在所有报道的主流数据集上一致优于SOTA,包括CIFAR-10/100和ImageNet。尤其在DVS-CIFAR10上,我们取得了83%的top-1准确率,较现有最优水平提升超过10%。代码见\url{https://github.com/Gus-Lab/temporal_efficient_training}。
引用
@article{arxiv.2202.11946,
title = {Temporal Efficient Training of Spiking Neural Network via Gradient Re-weighting},
author = {Shikuang Deng and Yuhang Li and Shanghang Zhang and Shi Gu},
journal= {arXiv preprint arXiv:2202.11946},
year = {2022}
}
备注
Published as a conference paper at ICLR 2022