基于时间截断局部沿时间反向传播的高效脉冲神经网络训练
神经与进化计算
2022-01-20 v1 机器学习
信号处理
摘要
由于复杂的神经动态和脉冲函数中固有的不可微性，直接训练脉冲神经网络（SNNs）一直具有挑战性。著名的用于训练 SNNs 的沿时间反向传播（BPTT）算法存在内存占用大以及阻碍反向与更新解锁的问题，使其无法发挥局部监督训练方法的潜力。本工作提出了一种高效的直接训练 SNNs 算法，将局部监督训练方法与时间截断 BPTT 算法相结合。所提算法在 BPTT 中同时探索了时间局部性与空间局部性，并显著降低了计算成本，包括 GPU 内存占用、主存访问和算术运算。我们深入探索了有关时间截断长度和局部训练块大小的设计空间，并基准测试了它们对不同网络运行不同类型任务时分类准确率的影响。结果表明，时间截断对基于帧的数据集分类准确率有负面影响，但提升了动态视觉传感器（DVS）记录数据集的准确率。尽管造成信息损失，局部训练能够缓解过拟合。时间截断与局部训练的联合效应可减缓准确率下降甚至提升准确率。此外，训练如 AlexNet 般对 CIFAR10-DVS 数据集分类的深度 SNNs 模型，相较标准端到端 BPTT 取得了准确率提升 7.26%、GPU 内存减少 89.94%、内存访问减少 10.79%、MAC 运算减少 99.64% 的效果。
引用
@article{arxiv.2201.07210,
title = {Efficient Training of Spiking Neural Networks with Temporally-Truncated Local Backpropagation through Time},
author = {Wenzhe Guo and Mohammed E. Fouda and Ahmed M. Eltawil and Khaled Nabil Salama},
journal= {arXiv preprint arXiv:2201.07210},
year = {2022}
}
备注
16