仅触发一次脉冲：将高能效神经形态推理的准确性提升至ANN水平
神经与进化计算
2024-10-30 v2 人工智能
硬件体系结构
机器学习
摘要
在过去的十年中，人工神经网络（ANNs）的进展使其能在广泛任务上表现极佳。事实上，例如在图像识别上它们已达到人类水平。不幸的是，这些ANNs的准确性是以大量缓存和/或内存访问以及计算操作为代价的。脉冲神经网络（SNNs）作为一种神经形态或受脑启发的网络，近年来作为ANNs的高能效替代方案受到显著关注，因为它们是稀疏的，仅访问极少权重，且通常使用加法操作而非更耗电的乘加（MAC）操作。绝大多数神经形态硬件设计支持率编码SNNs，其中信息编码在脉冲频率中。率编码SNNs作为一种编码方案可视为低效的，因为它涉及大量脉冲的传输。一种更高效的编码方案，首脉冲时间（TTFS）编码，将信息编码在脉冲到达的相对时间中。虽然TTFS编码SNNs比率编码SNNs更高效，但迄今为止其准确性相较先前方法表现较差。因此，本工作旨在克服TTFS编码神经形态系统的局限。为此，我们提出：（1）一种用于从ANNs转换的TTFS编码SNNs的新型优化算法；（2）一种用于TTFS编码SNNs的新型硬件加速器，具有可扩展和低功耗设计。总体而言，我们在TTFS编码和训练上的工作将SNNs的准确性提升至在MNIST MLPs上达到最先进结果，同时相比最先进神经形态硬件降低1.46功耗。
引用
@article{arxiv.2006.09982,
title = {You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy},
author = {Srivatsa P and Kyle Timothy Ng Chu and Burin Amornpaisannon and Yaswanth Tavva and Venkata Pavan Kumar Miriyala and Jibin Wu and Malu Zhang and Haizhou Li and Trevor E. Carlson},
journal= {arXiv preprint arXiv:2006.09982},
year = {2024}
}
备注
10 pages, 4 figures. This work has been submitted to the IEEE for possible publication. This work is an extended version of the paper accepted to the 2nd Workshop on Accelerated Machine Learning (AccML 2020)