基于局部零阶方法的脉冲神经网络节能训练
机器学习
2023-02-07 v2 人工智能
摘要
脉冲神经网络（SNN）因其在真实任务中低能耗需求以及与传统人工神经网络（ANN）相当的准确性而日益流行。SNN 训练算法在最小化模型关于模型参数的损失时，由于 Heaviside 函数面临梯度信息丢失和不可微问题。为规避该问题，替代方法在反向传播中使用 Heaviside 的可微近似，而前向传播使用 Heaviside 作为脉冲函数。我们提出在神经元级别使用零阶技术来解决这种二分性，并将其用于自动微分工具中。因此，我们在所提出的局部零阶技术与现有替代方法之间建立了理论联系，反之亦然。所提方法天然适用于在 GPU 上对 SNN 进行节能训练。基于神经形态数据集的实验结果表明，此类实现在反向传播中仅需少于 1% 的神经元处于活跃状态，从而使反向计算时间加速 100 倍。我们的方法相较于最先进的节能技术具有更好的泛化能力，同时保持相似的效率。
引用
@article{arxiv.2302.00910,
title = {Energy Efficient Training of SNN using Local Zeroth Order Method},
author = {Bhaskar Mukhoty and Velibor Bojkovic and William de Vazelhes and Giulia De Masi and Huan Xiong and Bin Gu},
journal= {arXiv preprint arXiv:2302.00910},
year = {2023}
}