FireFly-T：基于双引擎叠加架构的高吞吐量脉冲Transformer加速器
硬件体系结构
2025-05-20 v1
摘要
脉冲Transformer正成为一种结合脉冲神经网络(SNN)能效优势与Transformer注意力机制的有前景架构。然而，现有硬件加速器缺乏对脉冲注意力的支持，在利用细粒度稀疏性时吞吐量有限，难以在稀疏计算中实现可扩展的并行性。为此，我们提出FireFly-T，一种双引擎叠加架构，集成用于激活稀疏性的稀疏引擎和用于脉冲注意力的二进制引擎。在稀疏引擎中，我们提出了一种高吞吐量稀疏解码器，通过并发提取多个非零脉冲来利用细粒度稀疏性。为此，我们引入了一种可扩展负载平衡机制，结合权重分发和乱序执行，消除银行冲突以支持可扩展的多维并行性。在二进制引擎中，我们利用SRAM的字节级写能力，高效地操作脉冲注意力所需的3D数据流，最小化资源开销。我们还通过基于LUT6的实现优化了脉冲注意力中的核心AND-PopCount运算，提高时序收敛性，降低Xilinx FPGA上的LUT利用率。作为叠加架构，FireFly-T进一步集成了 orchestrator，通过灵活适应不同网络拓扑动态操作输入数据流，同时确保高效资源利用和高吞吐量。实验结果表明，我们的加速器相较于FireFly v2和启用Transformer的SpikeTA，分别实现了和的能效提升， DSP效率提升和。这些结果凸显了其作为高效脉冲Transformer硬件平台的潜力。
引用
@article{arxiv.2505.12771,
title = {FireFly-T: High-Throughput Sparsity Exploitation for Spiking Transformer Acceleration with Dual-Engine Overlay Architecture},
author = {Tenglong Li and Jindong Li and Guobin Shen and Dongcheng Zhao and Qian Zhang and Yi Zeng},
journal= {arXiv preprint arXiv:2505.12771},
year = {2025}
}