通过反向传播在脉冲神经网络中显式训练脉冲稀疏性
神经与进化计算
2020-03-04 v1 机器学习
摘要
脉冲神经网络（SNNs）因其稀疏、事件驱动计算所带来的潜在能效而受到探索。许多近期工作通过对不连续神经元脉冲或发放事件近似梯度，展示了深度脉冲神经网络（SNNs）的有效反向传播。这些替代梯度脉冲反向传播算法的一个有益副作用是，触发额外计算的脉冲本身现在可以直接纳入梯度计算中。我们提出在损失函数中显式包含脉冲计数以及传统的误差损失，使反向传播学习算法同时优化权重参数的准确率和脉冲稀疏性。正如过参数化神经网络的现有理论所支持，存在许多准确率等效的解决方案状态。因此，在这一多目标优化过程中对两个损失目标进行适当的加权，可以在不显著损失准确率的情况下改善脉冲稀疏性。我们还探索了一种受模拟退火启发的损失加权技术，以随着训练时间增加提高稀疏性的权重。我们在 Cifar-10 数据集上的初步结果显示，与仅针对准确率训练的等效 SNN 相比，在同等准确率下脉冲活动减少高达 70.1%；若允许以分类准确率降低 1% 为折衷，则脉冲活动减少高达 73.3%。
引用
@article{arxiv.2003.01250,
title = {Explicitly Trained Spiking Sparsity in Spiking Neural Networks with Backpropagation},
author = {Jason M. Allred and Steven J. Spencer and Gopalakrishnan Srinivasan and Kaushik Roy},
journal= {arXiv preprint arXiv:2003.01250},
year = {2020}
}