通过正则化训练深度脉冲自编码器以避免神经元死亡或爆发
神经与进化计算
2021-09-24 v1 机器学习
摘要
脉冲神经网络是计算神经科学中下一代脑模型的一种有前景的方法。此外，相比经典人工神经网络，它们可通过在专用神经形态硬件中实现快速计算，作为 AI 的节能部署。然而，训练深度脉冲神经网络，尤其以无监督方式，具有挑战性，且脉冲模型的性能受死亡或爆发神经元严重阻碍。在此，我们将基于膜电位的反向传播端到端学习应用于具有多层可训练漏积分发放（leaky integrate-and-fire）神经元的脉冲卷积自编码器。我们提出受生物启发的正则化方法以控制潜表示中的脉冲密度。实验中，我们表明对膜电位和脉冲输出施加正则化成功避免了死亡和爆发神经元，并显著降低了脉冲自编码器的重建误差。在 MNIST 数据集上训练正则化网络产生的图像重建质量可与无脉冲基线模型（确定性自编码器和变分自编码器）相媲美，并显示出对早期方法的改进。重要的是，我们表明与变分自编码器不同，脉冲潜表示展现出与图像类别相关的结构。
引用
@article{arxiv.2109.11045,
title = {Training Deep Spiking Auto-encoders without Bursting or Dying Neurons through Regularization},
author = {Justus F. Hübotter and Pablo Lanillos and Jakub M. Tomczak},
journal= {arXiv preprint arXiv:2109.11045},
year = {2021}
}
备注
Under review