面向低时延事件驱动视觉识别的混合步骤蒸馏脉冲神经网络

脉冲神经网络（SNN）因其低功耗和高生物可解释性而受到广泛关注。其丰富的时空信息处理能力和事件驱动的自然特性使其特别适用于仿生数据集。然而，当前的 SNN 在对 these 数据集进行分类时难以平衡准确率与时延。在本文中，我们提出了一种针对仿生数据集的混合步骤蒸馏（HSD）方法，以缓解在更低时间步处性能显著下降的问题。我们的工作将事件帧数与 SNN 的时间步数之间的依赖性分离，在训练阶段使用更多事件帧以提升性能，在推理阶段使用更少的事件帧以降低时延。然而，SNN 在所有时间步上的平均输出对单个时间步的异常输出较为敏感，尤其是在极低时间步处。为解决此问题，我们实现了一个考虑 SNN 在每个时间步上输出分布变化的步骤知识蒸馏（SKD）模块。实证结果表明，我们的方法在仿生数据集上的分类任务中表现出竞争力，尤其是在较低时间步处。我们的代码将在 {https://github.com/hsw0929/HSD} 上提供。