重新审视脉冲神经网络的能效

脉冲神经网络（SNN）因其事件驱动、基于脉冲的计算方式，有望比传统量化人工神经网络（QNN）具有更高的能效。然而，现有的能效评估通常过于简化，仅关注计算方面，而忽略了关键的开销，如全面的数据移动和内存访问。这种简化可能导致对 SNN 真实能效优势得出误导性结论。本文提出了一项严格的重新评估。我们通过将具有 $T$ 个时间步长的速率编码 SNN 映射为功能等价的 $\lceil \log_2(T+1) \rceil$ 位 QNN，建立了一个公平的基线。这确保了两个模型具有可比比的表示能力以及相似的硬件需求，从而实现有意义的能耗比较。我们引入了一个涵盖核心计算和数据移动的详细分析能耗模型。利用该模型，我们系统地探索了广泛的参数空间，包括内在网络特征（$T$、脉冲率 $s_r$、QNN 稀疏度 $\gamma$、模型大小 $N$、权重位宽）和硬件特征（内存系统和片上网络）。我们的分析确定了 SNN 确实能提供卓越能效的特定运行区间。例如，在典型的神经形态硬件条件下，具有中等时间窗（$T \in [5,10]$）的 SNN 需要平均脉冲率（$s_r$）低于 6.4\% 才能优于等效的 QNN。此外，为了说明我们发现的现实意义，我们分析了一款典型智能手表的运行寿命，结果表明，与 QNN 相比，优化后的 SNN 几乎可以使其电池寿命翻倍。这些见解为设计真正节能的神经网络解决方案提供了指导。