Spike2Former：高性能图像分割的高效脉冲变换器
计算机视觉与模式识别
2024-12-20 v1 人工智能
神经与进化计算
摘要
脉冲神经网络（SNN）具有低功耗优势，但在图像分割任务中表现不佳。原因在于，直接将为分割任务设计的复杂神经网络结构转换为脉冲版本会导致性能下降和非收敛。为解决这一挑战，我们首先识别导致脉冲发放显著减少的模块，进行针对性改进，提出Spike2Former架构。其次，提出归一化整数脉冲神经元，以解决SNN复杂架构的训练稳定性问题。在ADE20K、VOC2012和CityScapes等多个语义分割数据集上，Spike2Former为SNN设下了新的状态记录，分别实现了mIoU提升12.7%和5.0效率、14.3%和5.2效率、9.1%和6.6效率的显著提升。
引用
@article{arxiv.2412.14587,
title = {Spike2Former: Efficient Spiking Transformer for High-performance Image Segmentation},
author = {Zhenxin Lei and Man Yao and Jiakui Hu and Xinhao Luo and Yanye Lu and Bo Xu and Guoqi Li},
journal= {arXiv preprint arXiv:2412.14587},
year = {2024}
}
备注
This work has been accepted on Association for the Advancement of Artificial Intelligence 2025