利用残差脉冲神经网络实现精确特征提取的关键
机器学习
2022-09-22 v4 计算机视觉与模式识别
摘要
脉冲神经网络（SNNs）因其时间处理能力和在神经形态硬件中的高能效实现，已成为传统人工神经网络（ANN）的一种有趣替代方案。然而，训练SNN所涉及的挑战限制了其在准确性方面的表现，从而限制了其应用。因此，改进学习算法和神经网络架构以实现更精确的特征提取是SNN研究当前的优先方向之一。本文对现代脉冲架构的关键组件进行了研究。我们设计了成功的残差网络架构的脉冲版本，并对脉冲残差连接的可能实现进行了深入研究。该研究表明，根据用例不同，最优的残差连接实现可能有所不同。此外，我们在取自性能最佳网络的图片分类数据集上对不同技术进行了实证比较。我们的结果为SNN设计提供了最先进的指南，使得在尝试构建最优视觉特征提取器时能够做出明智的选择。最后，我们的网络在CIFAR-10（94.14%）和CIFAR-100（74.65%）数据集上优于先前的SNN架构，并在DVS-CIFAR10（72.98%）上达到最先进水平，且比先前最先进模型参数更少，无需ANN-SNN转换。代码见 https://github.com/VicenteAlex/Spiking_ResNet
引用
@article{arxiv.2111.05955,
title = {Keys to Accurate Feature Extraction Using Residual Spiking Neural Networks},
author = {Alex Vicente-Sola and Davide L. Manna and Paul Kirkland and Gaetano Di Caterina and Trevor Bihl},
journal= {arXiv preprint arXiv:2111.05955},
year = {2022}
}
备注
17 pages, 6 figures, 17 tables