TP-Spikformer：基于Token剪枝的脉冲Transformer
计算机视觉与模式识别
2026-03-03 v1
摘要
脉冲神经网络（SNN）因其事件驱动计算范式，作为传统神经网络的能源效率替代方案。然而，近期在脉冲Transformer方面的进展主要聚焦于通过大规模架构提升精度，这会导致显著的计算资源需求，限制其在资源受限设备上的部署。本文提出一种简单且有效的方法，用于脉冲Transformer的Token剪枝，称为TP-Spikformer，在保持竞争性能的同时，显著降低存储和计算开销。具体而言，我们首先引入一种启发式时空信息保留准则，全面评估Token的重要性，将信息丰富的Token赋予更高的保留分数，信息稀缺的Token赋予更低的剪枝分数。基于此准则，我们提出信息保留Token剪枝框架，采用块级提前停止策略处理信息稀缺的Token，而非直接删除它们。这也有助于在Token剪枝期间保留更多信息。我们通过在Gemma-2-2B和Llama-3.2-1B等多种架构上进行大量实验，包括图像分类、目标检测、语义分割和基于事件的对象跟踪等多种任务，证明了TP-Spikformer的有效性、效率和可扩展性。尤其是，TP-Spikformer以无训练方式表现良好。这些结果揭示了其作为在计算资源有限的实际应用中高效实用解决方案的潜力。
引用
@article{arxiv.2603.00527,
title = {TP-Spikformer: Token Pruned Spiking Transformer},
author = {Wenjie Wei and Xiaolong Zhou and Malu Zhang and Ammar Belatreche and Qian Sun and Yimeng Shan and Dehao Zhang and Zijian Zhou and Zeyu Ma and Yang Yang and Haizhou Li},
journal= {arXiv preprint arXiv:2603.00527},
year = {2026}
}
备注
24 pages, 7 figures