通过增强时间一致性改进脉冲神经网络的稳定性与性能
神经与进化计算
2023-05-24 v1
摘要
脉冲神经网络因其类脑信息处理能力而受到显著关注。替代梯度的使用使得通过反向传播训练脉冲神经网络成为可能，并在各类任务中取得令人印象深刻的性能。然而，经反向传播训练的脉冲神经网络通常用平均输出逼近真实标签，往往需更大仿真时间步以提升网络性能。该延迟约束对 SNN 的进一步发展构成挑战。当前训练算法倾向于忽略不同时间步输出分布的差异。尤其对于神经形态数据集，不同时间步的输入会导致输出分布不一致，从而在合并不同时刻的优化方向时严重偏离最优方向。为解决此问题，我们设计了一种增强不同时间步输出时间一致性的方法。我们在 CIFAR10、CIFAR100 与 ImageNet 等静态数据集上进行了实验。结果表明，我们的算法可达到与其他最优 SNN 算法相当的性能。值得注意的是，我们的算法在神经形态数据集 DVS-CIFAR10 与 N-Caltech101 上取得了最优性能，并且可在时间步 T=1 的测试阶段实现更优性能。
引用
@article{arxiv.2305.14174,
title = {Improving Stability and Performance of Spiking Neural Networks through Enhancing Temporal Consistency},
author = {Dongcheng Zhao and Guobin Shen and Yiting Dong and Yang Li and Yi Zeng},
journal= {arXiv preprint arXiv:2305.14174},
year = {2023}
}