AutoST:面向脉冲 Transformer 的免训练神经架构搜索
神经与进化计算
2023-12-15 v2 计算机视觉与模式识别
机器学习
摘要
Spiking Transformers 因兼具脉冲神经网络 (SNNs) 的能效与 Transformers 的高容量而备受关注。然而,现有由人工神经网络 (ANNs) 衍生的 Spiking Transformer 架构存在显著的架构鸿沟,导致其性能逊于对应的 ANN。人工发现最优架构耗时费力。为克服这些局限,我们提出 AutoST,一种面向 Spiking Transformers 的免训练 NAS 方法,可快速识别高性能 Spiking Transformer 架构。不同于现有受 SNN 固有不可微与高稀疏性困扰的免训练 NAS 方法,我们提议以浮点运算数 (Floating-Point Operations, FLOPs) 作为性能指标,其独立于模型计算与训练动态,因而与性能相关性更强。大量实验表明,AutoST 模型在静态与神经形态数据集上优于 state-of-the-art 的手动或自动设计的 SNN 架构。已发布完整代码、模型与数据以供复现。
引用
@article{arxiv.2307.00293,
title = {AutoST: Training-free Neural Architecture Search for Spiking Transformers},
author = {Ziqing Wang and Qidong Zhao and Jinku Cui and Xu Liu and Dongkuan Xu},
journal= {arXiv preprint arXiv:2307.00293},
year = {2023}
}
备注
ICASSP 2024