Ge$^\text{2}$mS-T：面向脉冲变换器的多维分组，以实现超高能效
神经与进化计算
2026-04-13 v1 人工智能
计算机视觉与模式识别
摘要
脉冲神经网络 (SNN) 相对于人工神经网络 (ANN) 在能源效率方面具有优势。然而，它们在应用于脉冲视觉变换器 (S-ViTs) 时在训练和推理指标上存在显著不足。现有范例包括 ANN-SNN 转换和空间-时间反向传播 (STBP)，受限于固有局限，无法同时优化内存、准确性和能耗。为此，我们提出 GemS-T，一种在时间、空间和网络结构维度上实现分组计算的新型架构。具体而言，我们引入基于分组指数编码的脉冲可变阈值模型 (ExpG-IF)，实现常数训练开销和对脉冲模式的精确调节。此外，我们开发了分组脉冲自注意力 (GW-SSA)，通过多尺度 token 分组和混合注意力-卷积框架内的乘法自由操作来降低计算复杂度。实验表明，我们的方法能在具有挑战性基准测试上实现卓越性能，同时实现超高能效。据我们了解，这是首个系统性地在 S-ViTs 中建立多维分组计算，以解决内存开销、学习能力和能耗预算三方面的问题的工作。
引用
@article{arxiv.2604.08894,
title = {Ge$^\text{2}$mS-T: Multi-Dimensional Grouping for Ultra-High Energy Efficiency in Spiking Transformer},
author = {Zecheng Hao and Shenghao Xie and Kang Chen and Wenxuan Liu and Zhaofei Yu and Tiejun Huang},
journal= {arXiv preprint arXiv:2604.08894},
year = {2026}
}