FTBC：用于优化 ANN-SNN 转换的前向时间偏置校正
人工智能
2024-03-28 v1 计算机视觉与模式识别
摘要
与人工神经网络（ANN）相比，脉冲神经网络（SNN）紧密模拟生物神经过程，为能效计算提供了一条极具前景的途径。然而，这种潜力也带来了通过时空反向传播直接训练 SNN 的固有挑战——这源于脉冲神经元的时间动态性及其离散信号处理——这需要替代的训练方式，最显著的是通过 ANN-SNN 转换。在本工作中，我们引入了一种轻量级的前向时间偏置校正（FTBC）技术，旨在提高转换精度且不增加计算开销。我们的方法基于已有的理论发现，即通过适当的时间偏置校准，ANN-SNN 转换的预期误差在每个时间步后可降至零。我们进一步提出了一种仅在正向传播中寻找时间偏置的启发式算法，从而消除了反向传播的计算负担，并在 CIFAR-10/100 和 ImageNet 数据集上评估了我们的方法，在所有数据集上均实现了显著的准确率提升。代码已在 GitHub 仓库发布。
关键词
引用
@article{arxiv.2403.18388,
title = {FTBC: Forward Temporal Bias Correction for Optimizing ANN-SNN Conversion},
author = {Xiaofeng Wu and Velibor Bojkovic and Bin Gu and Kun Suo and Kai Zou},
journal= {arXiv preprint arXiv:2403.18388},
year = {2024}
}