用于脉冲神经网络的神经架构搜索
神经与进化计算
2022-07-22 v3 人工智能
机器学习
信号处理
摘要
脉冲神经网络（SNNs）因其固有的高稀疏激活，作为传统人工神经网络（ANNs）潜在的节能替代方案已获得巨大关注。然而，多数先前的 SNN 方法使用类 ANN 的架构（如 VGG-Net 或 ResNet），这可能为 SNN 中二值信息的时间序列处理提供次优性能。为此，本文引入一种新颖的神经架构搜索（NAS）方法来寻找更优的 SNN 架构。受近期从初始化时激活模式中寻找最优架构的 NAS 方法启发，我们选择在无需训练的情况下能跨不同数据样本表示多样脉冲激活模式的架构。此外，为进一步利用脉冲间的时间信息，我们搜索层间的前馈连接以及反向连接（即时间反馈连接）。有趣的是，我们的搜索算法找到的 SNASNet 凭借反向连接取得了更高性能，证明了为恰当利用时间信息而设计 SNN 架构的重要性。我们在三个图像识别基准上进行了广泛实验，表明 SNASNet 以显著更少的时序步长（5 个时序步长）取得了最先进性能。代码已在 Github 上提供。
引用
@article{arxiv.2201.10355,
title = {Neural Architecture Search for Spiking Neural Networks},
author = {Youngeun Kim and Yuhang Li and Hyoungseob Park and Yeshwanth Venkatesha and Priyadarshini Panda},
journal= {arXiv preprint arXiv:2201.10355},
year = {2022}
}
备注
Accepted to European Conference on Computer Vision (ECCV) 2022