NeuroNAS:面向硬件感知的脉冲神经网络架构搜索以提升仿生存储计算的效率
神经与进化计算
2025-04-21 v3 人工智能
硬件体系结构
机器学习
摘要
智能移动代理人(如 UGV 和 UAV)在解决其基于机器学习的任务时,通常需要低功耗/能耗,因为它们通常由容量有限的便携式电池供电。一种潜在解决方案是采用仿生计算与脉冲神经网络(SNN)相结合,后者利用基于事件的计算来实现低功耗/能耗的机器学习算法。为了最大化 SNN 推理的性能效率,可以采用基于存储器的仿生计算(IMC)硬件加速器,这些加速器利用新兴器件技术(如 RRAM)。然而,SNN 模型通常在开发时不考虑应用和底层 IMC 硬件的约束,从而阻碍了 SNN 在性能和效率方面发挥其潜能。为此,我们提出了 NeuroNAS,这是一个用于开发面向硬件的仿生 IMC 的新框架,以用于智能移动代理人的硬件感知脉冲神经网络架构搜索(NAS),即通过快速找到在给定约束(如内存、面积、延迟和能耗)下具有高准确性的 SNN 架构。其关键步骤包括:优化 SNN 操作以高效实现 NAS、采用量化以最小化内存占用、开发促进有效学习的 SNN 架构,以及制定系统的硬件感知搜索算法以满足约束。与最新技术相比,NeuroNAS 能够快速找到具有 8 位权重精度的 SNN 架构,保持高准确性,实现了最高可达 6.6 倍的搜索时间加速,同时在不同数据集(如 CIFAR-10、CIFAR-100 和 TinyImageNet-200)上实现了最高达 92% 的面积节省、1.2 倍的延迟改进和 84% 的能耗节省;而最新方法无法一次性满足所有约束。
引用
@article{arxiv.2407.00641,
title = {NeuroNAS: Enhancing Efficiency of Neuromorphic In-Memory Computing for Intelligent Mobile Agents through Hardware-Aware Spiking Neural Architecture Search},
author = {Rachmad Vidya Wicaksana Putra and Muhammad Shafique},
journal= {arXiv preprint arXiv:2407.00641},
year = {2025}
}
备注
9 pages, 14 figures, 2 tables