脉冲神经网络需要高频信息
计算机视觉与模式识别
2026-01-06 v6
摘要
脉冲神经网络通过二进制（0/1）脉冲传递信息，承诺实现类脑且高效的计算。然而，其性能仍落后于人工神经网络，常被认为是由于稀疏且二进制激活导致信息损失。本文挑战了这一长期假设，揭示了一种被忽视的频率偏差：脉冲神经元本质上抑制高频分量，优先传递低频信息。我们认为这种频率域不平衡是特征表示下降的根本原因。经验上，在 Spiking Transformers 中，使用 Avg-Pooling（低通）进行 token 混合会使准确率降至 76.73%（Cifar-100），而改用 Max-Pool（高通）则将 top-1 准确率提升至 79.12%。因此，我们引入 Max-Former 通过两种频率增强算子恢复高频信号：（1）在 patch 嵌入中额外添加 Max-Pool，（2）用 Depth-Wise Convolution 替代自注意力机制。值得注意的是，Max-Former仅使用 63.99M 参数即可在 ImageNet 上实现 82.39% 的 top-1 准确率，超越 Spikformer（74.81%，66.34M）+7.58%。在 transformer 之外，我们的 Max-ResNet-18 在 CIFAR-10 上达到 97.17%，在 CIFAR-100 上达到 83.06%，实现卷积基准的最新性能。我们希望这个简单而有效的解决方案能激发未来研究者探索脉冲神经网络的独特特性。代码已公开：https://github.com/bic-L/MaxFormer。
引用
@article{arxiv.2505.18608,
title = {Spiking Neural Networks Need High Frequency Information},
author = {Yuetong Fang and Deming Zhou and Ziqing Wang and Hongwei Ren and ZeCui Zeng and Lusong Li and Shibo Zhou and Renjing Xu},
journal= {arXiv preprint arXiv:2505.18608},
year = {2026}
}