通过辅助累积通路训练全脉冲神经网络
神经与进化计算
2023-01-31 v1 人工智能
摘要
由于二值脉冲信号使得将传统的低能效乘累加（MAC）转换为低功耗累加（AC）成为可能，受脑启发的脉冲神经网络（SNN）正受到越来越多的关注。然而，具有有限时间步长的全脉冲神经网络（FSNN）的二值脉冲传播容易出现显著的信息损失。为提升性能，若干最先进的从头训练的SNN模型不可避免地引入了诸多非脉冲操作。非脉冲操作导致额外的计算消耗，并可能无法部署在仅允许脉冲操作的某些神经形态硬件上。为训练高性能的大规模FSNN，本文提出一种新颖的双流训练（DST）方法，该方法在全脉冲残差网络中添加一个可分离的辅助累积通路（AAP）。AAP中的累积可补偿全脉冲传播在前向与反向过程中的信息损失，并促进FSNN的训练。在测试阶段，AAP可被移除而仅保留FSNN。这不仅保持了较低的能耗，还使我们的模型易于部署。此外，对于某些允许非脉冲操作的情形，APP也可保留在测试推理中，并通过引入少量非脉冲消耗来提升特征判别力。在ImageNet、DVS Gesture和CIFAR10-DVS数据集上的大量实验证明了DST的有效性。
引用
@article{arxiv.2301.11929,
title = {Training Full Spike Neural Networks via Auxiliary Accumulation Pathway},
author = {Guangyao Chen and Peixi Peng and Guoqi Li and Yonghong Tian},
journal= {arXiv preprint arXiv:2301.11929},
year = {2023}
}