面向数字事件驱动类神经形态处理器的硬件感知训练带突触延迟的模型
神经与进化计算
2024-04-17 v1 人工智能
新兴技术
摘要
可配置的突触延迟是许多神经形态神经网络硬件加速器中的基本特性。然而，尽管其在表现出复杂（时间）动力学的任务中对性能和效率具有前景的影响，但它们在模型实现中鲜少被使用，原因在于尚不清楚如何对其进行优化。在本工作中，我们提出了一个框架，用于训练和部署在数字神经形态硬件上的高性能脉冲神经网络模型（SNN），其中除了突触权重外，还协同优化每个突触的延迟。利用基于脉冲的时序反向传播，训练过程考虑了平台约束，如突触权重精度和每个核心的总参数数目，这些约束随网络规模而变化。此外，采用延迟修剪技术以降低内存占用，代价极小。我们在两个神经形态数字硬件平台上评估了训练好的模型：英特尔Loihi和Imec Seneca。Loihi使用所谓环形缓冲区硬件结构支持突触延迟，而Seneca则不提供原生的突触延迟支持。本文的另一贡献是 therefore 提出一种新型面向突触延迟加速的区域和内存高效硬件结构，我们已将其集成到Seneca中。评估基准涉及多个用于解决SHD（Spiking Heidelberg Digits）分类任务的模型，展示了从软件到硬件过渡期间最小的精度退化。就目前而言，这是首个展示如何在多核神经形态硬件加速器上训练和部署具有突触延迟参数化的硬件感知模型的工作。
引用
@article{arxiv.2404.10597,
title = {Hardware-aware training of models with synaptic delays for digital event-driven neuromorphic processors},
author = {Alberto Patino-Saucedo and Roy Meijer and Amirreza Yousefzadeh and Manil-Dev Gomony and Federico Corradi and Paul Detteter and Laura Garrido-Regife and Bernabe Linares-Barranco and Manolis Sifalakis},
journal= {arXiv preprint arXiv:2404.10597},
year = {2024}
}