SpikePipe：基于跨层流水线与多处理器调度的脉冲神经网络加速训练
信号处理
2024-11-18 v1 神经与进化计算
摘要
脉冲神经网络（SNN）因其高能效而受到广泛关注。先前的工作提出了 various 方法进行 SNN 训练，包括基于反向传播的方法。相较于传统模型，SNN 的训练计算开销较大，亟需多处理器硬件加速支持。这篇论文首次提出跨层流水线技术，以 systolic array 架构的处理器和多处理器调度加速 SNN 的训练。通过在三个不同数据集上训练不同网络，观察到使用延迟梯度的影响，结果显示小型网络无性能下降，大型网络的性能下降不足 10%。本文构建了将 SNN 的各种训练任务映射到 systolic array 上的方法，并评估了所提出的调度方法在三个网络中的表现。结果与标准流水线算法比较表明，所提方法相较于标准流水线算法平均加速 1.6 倍，在部分情况下可实现高达 2 倍的提升。所提方法引入的通信开销不足总体训练通信需求的 0.5%。
引用
@article{arxiv.2406.06879,
title = {SpikePipe: Accelerated Training of Spiking Neural Networks via Inter-Layer Pipelining and Multiprocessor Scheduling},
author = {Sai Sanjeet and Bibhu Datta Sahoo and Keshab K. Parhi},
journal= {arXiv preprint arXiv:2406.06879},
year = {2024}
}