智能处理单元加速神经形态学习
机器学习
2022-11-22 v1
摘要
脉冲神经网络（SNNs）在执行深度学习推理工作负载时，在能耗和延迟方面实现了数量级的提升。误差反向传播目前被认为是训练 SNNs 最有效的方法，但具有讽刺意味的是，在现代图形处理单元（GPUs）上训练时，其代价比非脉冲网络更高。Graphcore 智能处理单元（IPUs）的出现，将深度学习工作负载的并行化特性与训练 SNNs 时普遍存在的顺序、可复用和稀疏化操作特性相平衡。IPUs 通过在较小数据块上运行独立处理线程来采用多指令多数据（MIMD）并行，这天然契合求解脉冲神经元动力学状态方程所需的顺序、非向量化步骤。我们发布了自定义 SNN Python 包 snnTorch 的 IPU 优化版本，其利用低级、预编译的自定义操作来开发细粒度并行性，以加速训练 SNN 工作负载所特有的不规则和稀疏数据访问模式。我们对一系列常用脉冲神经元模型进行了严格的性能评估，并提出了通过半精度训练进一步减少训练运行时间的方法。通过将顺序处理成本分摊到可向量化的群体编码中，我们最终展示了将领域专用加速器与下一代神经网络集成的潜力。
引用
@article{arxiv.2211.10725,
title = {Intelligence Processing Units Accelerate Neuromorphic Learning},
author = {Pao-Sheng Vincent Sun and Alexander Titterton and Anjlee Gopiani and Tim Santos and Arindam Basu and Wei D. Lu and Jason K. Eshraghian},
journal= {arXiv preprint arXiv:2211.10725},
year = {2022}
}
备注
10 pages, 9 figures, journal