量化脉冲驱动Transformer

脉冲神经网络因其脉冲驱动范式，正成为传统人工神经网络的一种有前景的节能替代方案。然而，SNN 领域近期的研究主要集中于通过设计大规模 Transformer 结构来提高精度，这通常依赖大量计算资源，限制了它们在资源受限设备上的部署。为克服这一挑战，我们提出了一种量化脉冲驱动 Transformer 基线（QSD-Transformer），通过利用低位宽参数来降低资源需求。遗憾的是，QSD-Transformer 常常遭受严重的性能下降。在本文中，我们首先进行实证分析，发现量化脉冲驱动自注意力（Q-SDSA）的双峰分布导致量化过程中出现脉冲信息失真（SID），从而引起显著的性能下降。为缓解此问题，我们从互信息熵中获得启发，提出了一种双层优化策略来校正 Q-SDSA 中的信息分布。具体而言，在下层，我们引入一种信息增强的 LIF 来校正 Q-SDSA 中的信息分布。在上层，我们为 QSD-Transformer 提出一种细粒度蒸馏方案，以使 Q-SDSA 中的分布与其对应的 ANN 中的分布对齐。通过集成该双层优化策略，QSD-Transformer 可以在不牺牲其高性能优势的情况下获得增强的能效。例如，与 ImageNet 上先前的 SNN 基准相比，QSD-Transformer 实现了 80.3% 的 top-1 准确率，同时功耗和模型大小分别显著降低了 6.0$\times$ 和 8.1$\times$。代码可在 https://github.com/bollossom/QSD-Transformer 获取。