脉冲驱动 Transformer V2：元神经形态网络架构及其对下一代神经形态芯片设计的启示
摘要
神经形态计算通过在神经形态芯片上实现脉冲神经网络 (SNN) 作为传统 AI 的一种高能效替代方案。基于卷积神经网络 (CNN) 的 SNN 是当前神经形态计算的主流。相较之下，目前尚无针对 Transformer-based SNN 的神经形态芯片专用设计，虽然后者仅与 CNN-based SNN 相当，却无显著优势。本文提出一种通用的 Transformer-based SNN 架构，称为\"Meta-SpikeFormer\"，其目标包括：1）低功耗，支持脉冲驱动范式，即网络中仅存在稀疏加法；2）通用性，可处理各种视觉任务；3）高性能，在 CNN-based SNN 上显著优势；4）元架构，为未来下一代 Transformer-based 神经形态芯片设计提供启示。具体而言，我们将\citet{yao2023spike} 所提出的脉冲驱动 Transformer 扩展为一个元架构，并探讨了结构、脉冲驱动自注意力机制以及跳跃连接对其性能的影响。在 ImageNet-1K 上，Meta-SpikeFormer 实现了 80.0% 的 Top-1 准确率 (55M 参数)，超越当前最先进 (SOTA) 的 SNN 基线 (66M 参数) 高出 3.7%。这是一个首次实现可同时支持分类、检测和分割的直接训练 SNN 主干网络，在 SNN 领域取得 SOTA 成绩。最后，我们讨论了该元神经形态网络架构对神经形态芯片设计的启示。源码和模型已提供，地址为 \url{https://github.com/BICLab/Spike-Driven-Transformer-V2}。
引用
@article{arxiv.2404.03663,
title = {Spike-driven Transformer V2: Meta Spiking Neural Network Architecture Inspiring the Design of Next-generation Neuromorphic Chips},
author = {Man Yao and Jiakui Hu and Tianxiang Hu and Yifan Xu and Zhaokun Zhou and Yonghong Tian and Bo Xu and Guoqi Li},
journal= {arXiv preprint arXiv:2404.03663},
year = {2024}
}
备注
Accepted by ICLR2024. Code and Model: https://github.com/BICLab/Spike-Driven-Transformer-V2