揭示脉冲神经网络时空有效感受野
神经与进化计算
2025-10-27 v1
摘要
脉冲神经网络（SNN）通过事件驱动范式展现出用于神经器件计算的显著能源效率潜力。尽管训练方法和计算模型取得了很大进展，但SNN在视觉长序列建模任务中仍难达到竞争性能。在人工神经网络中，有效感受野（ERF）是分析视觉长序列建模中特征提取能力的有价值工具。灵感来自此，我们提出时空有效感受野（ST-ERF），以分析基于Transformer的SNN中ERF的分布。基于所提出的ST-ERF，我们揭示这些模型在建立稳健的全局时空ERF方面存在困难，从而限制了其视觉特征建模能力。为克服此问题，我们提出两种新型通道混合架构：基于多层感知器的混合器（MLPixer）和喷溅与重构块（SRB）。这些架构通过Transformer-basedSNN中早期网络阶段的各个时间步，增强全局空间ERF，提高了在具有挑战性的视觉长序列建模任务上的性能。进一步在Meta-SDT变体以及对象检测和语义分割任务上进行大量实验，进一步验证了我们方法的有效性。除了这些具体应用之外，我们相信提出的ST-ERF框架可以为设计和优化SNN的体系结构提供宝贵的见解。代码可在\href{https://github.com/EricZhang1412/Spatial-temporal-ERF}{\faGithub~EricZhang1412/Spatial-temporal-ERF}获取。
引用
@article{arxiv.2510.21403,
title = {Unveiling the Spatial-temporal Effective Receptive Fields of Spiking Neural Networks},
author = {Jieyuan Zhang and Xiaolong Zhou and Shuai Wang and Wenjie Wei and Hanwen Liu and Qian Sun and Malu Zhang and Yang Yang and Haizhou Li},
journal= {arXiv preprint arXiv:2510.21403},
year = {2025}
}
备注
Acceped by 39th Conference on Neural Information Processing Systems (NeurIPS 2025)