数据依赖的时序聚合：突触神经网络加速中的塌陷或保持

脉冲稀疏性被广泛认为可以使突触神经网络（SNN）在 GPU 硬件上实现高效推理。我们展示这一说法是一种幻觉：五种不同的稀疏计算策略在 Apple M3 Max 上均未能超越密集卷积，因为 SIMD 架构无法利用 i.i.d. 二值脉冲的细粒度、非结构化稀疏性。相反，我们提出时序聚合卷积（TAC），利用卷积的线性特性在单个卷积调用前预聚合 K 个脉冲帧，将 T 次调用减少到 T/K。对于率编码的数据，TAC 在 MNIST 上的速度提升 13.8 倍，准确率提升 +1.6%；在 Fashion-MNIST 上的速度提升 +5.4%。然而，对于事件驱动的数据，其中时间维度携带着真实的运动信息，TAC 的时序塌陷是有害的。因此，我们引入 TAC-TP（时序保持），在每个组的卷积输出在 K 个独立的 LIF 步骤之间共享，以保留下游层的完整时序分辨率。在 DVS128-Gesture 上，TAC-TP 实现了 95.1% 的准确率（基线为 96.3%），卷积调用次数减少 50%，而标准 TAC 的准确率下降到 91.3%。我们的关键发现是，最优时序聚合策略是数据依赖的：对率编码的数据进行时序压缩（降噪），但对事件数据保持时序（信息保留）。加速是硬件无关的：TAC 在 NVIDIA V100 上实现 11.0 倍加速，证明该机制跨越 GPU 架构。所有 mlx-snn 库中的运算符均为开源。