SparseSpikformer：一种用于脉冲Transformer中令牌与权重剪枝的协同设计框架
计算机视觉与模式识别
2023-11-16 v1 人工智能
摘要
作为第三代神经网络，脉冲神经网络（SNN）具有低功耗和高能效的优势，适合在边缘设备上实现。近来，最先进的 SNN——Spikformer，将 Transformer 的自注意力模块与 SNN 结合，取得了卓越性能。然而，其在 MLP 层中采用了较大的通道维度，导致冗余模型参数增多。为有效降低模型的计算复杂度和权重参数，我们探索了彩票假设（LTH），发现一个极稀疏（≥90%）的子网络可达到与原网络相当的性能。此外，我们还设计了一个轻量级令牌选择器模块，该模块基于神经元的平均脉冲发放率去除图像中不重要的背景信息，仅选择关键的前景图像令牌参与注意力计算。基于此，我们提出 SparseSpikformer，一种旨在通过令牌与权重剪枝技术实现 Spikformer 稀疏化的协同设计框架。实验结果表明，我们的框架在保持原模型精度的同时，可显著减少 90% 的模型参数并将千兆浮点运算次数（GFLOPs）削减 20%。
引用
@article{arxiv.2311.08806,
title = {SparseSpikformer: A Co-Design Framework for Token and Weight Pruning in Spiking Transformer},
author = {Yue Liu and Shanlin Xiao and Bo Li and Zhiyi Yu},
journal= {arXiv preprint arXiv:2311.08806},
year = {2023}
}