多维注意力驱动的可微分架构搜索用于脉冲神经网络
神经与进化计算
2024-11-05 v1 人工智能
机器学习
摘要
脉冲神经网络（SNN）因其低功耗在人工智能领域获得了广泛关注。然而，大多数 SNN 方法直接继承人工神经网络（ANN）的结构，通常导致 SNN 中的模型性能欠佳。为缓解这一问题，我们整合了神经网络架构搜索（NAS）方法，提出了多维注意力可微分架构搜索（MA-DARTS），以直接自动化搜索 SNN 的最优网络结构。最初，我们定义了一个可微分的两级搜索空间，并在固定层下的微架构中进行了实验。随后，我们引入了多维注意力机制，并在该搜索空间中实现了 MA-DARTS 算法。全面实验表明，我们的模型在分类任务上取得了与其他方法在相同参数下的最先进性能，在 CIFAR10 数据集上准确率达到 94.40%，在 CIFAR100 数据集上准确率达到 76.52%。此外，我们在整个实验过程中监测并评估了每个细胞中的脉冲数（NoS）。值得注意的是，整个模型在验证集上的脉冲数稳定在约 110K，在训练集上稳定在约 100k。
引用
@article{arxiv.2411.00902,
title = {Differentiable architecture search with multi-dimensional attention for spiking neural networks},
author = {Yilei Man and Linhai Xie and Shushan Qiao and Yumei Zhou and Delong Shang},
journal= {arXiv preprint arXiv:2411.00902},
year = {2024}
}