面向神经器件与边缘 AI 硬件的混合 SNN 高效部署
神经与进化计算
2024-07-12 v1 人工智能
硬件体系结构
计算机视觉与模式识别
机器学习
摘要
本文探索了神经器件与边缘计算的协同潜力，以构建针对动态视觉传感器捕获数据进行处理的通用机器学习系统。我们使用 PyTorch 和 Lava 框架构建并训练混合模型，将突触神经网络（SNN）与人工神经网络（ANN）融合。该混合架构集成了用于时序特征提取的 SNN 和用于分类的 ANN。我们深入探讨了在硬件上部署此类混合结构的挑战。具体而言，我们在 Intel 的神经处理器 Loihi（用于 SNN）和 Jetson Nano（用于 ANN）上分别部署各个组件。我们还提出了一种累加器电路，用于将数据从脉冲域传输到非脉冲域。此外，我们在神经器件与边缘 AI 硬件的异构系统上，对混合 SNN-ANN 模型进行全面的性能分析，评估准确率、延迟、功耗和能耗。我们的发现表明，混合脉冲网络在所有指标上均超越基线 ANN 模型，并在准确率和延迟方面优于基线 SNN 模型。
引用
@article{arxiv.2407.08704,
title = {Towards Efficient Deployment of Hybrid SNNs on Neuromorphic and Edge AI Hardware},
author = {James Seekings and Peyton Chandarana and Mahsa Ardakani and MohammadReza Mohammadi and Ramtin Zand},
journal= {arXiv preprint arXiv:2407.08704},
year = {2024}
}