STEP：面向公平可重复基准测试的统一脉冲变换器评估平台
神经与进化计算
2025-12-24 v2
摘要
脉冲变换器（Spiking Transformers）最近涌现为将脉冲神经网络的效率与自注意力表示能力相结合的有前景的架构。然而，缺乏标准化的实现、评估管线以及一致的设计选择，阻碍了公平比较和原则性分析。在本文中，我们引入了STEP（Spiking Transformer Evaluation Platform，脉冲变换器评估平台），这是一个统一的基准框架，支持广泛的任务，包括静态、事件驱动和序列数据集上的分类、分割和检测。STEP提供模块化支持，涵盖脉冲神经元、输入编码、替代梯度以及多种后端（如SpikingJelly、BrainCog）。通过STEP，我们复现并评估了若干代表性模型，进行了关于注意力设计、神经元类型、编码方案以及时序建模能力的系统化消融研究。我们还提出了统一的能耗估算模型，考虑到脉冲稀疏性、位宽以及内存访问，并指出量化人工神经网络（ANN）可能在能源效率方面提供可 comparable 或更好的性能。我们的结果表明，当前的脉冲变换器高度依赖卷积前端，缺乏强大的时序建模能力，凸显了对脉冲原生架构创新迫切的需求。完整代码已公开：https://github.com/Fancyssc/STEP
引用
@article{arxiv.2505.11151,
title = {STEP: A Unified Spiking Transformer Evaluation Platform for Fair and Reproducible Benchmarking},
author = {Sicheng Shen and Dongcheng Zhao and Linghao Feng and Zeyang Yue and Jindong Li and Tenglong Li and Guobin Shen and Yi Zeng},
journal= {arXiv preprint arXiv:2505.11151},
year = {2025}
}
备注
Accepted by NeurIPS 2025