TopSpark：面向自主移动智能体高能效脉冲神经网络的时序步优化方法
神经与进化计算
2024-04-08 v2 人工智能
机器学习
机器人学
摘要
自主移动智能体需要低功耗/高能效的机器学习（ML）算法来完成其基于 ML 的任务，同时适应多样环境，因为移动智能体通常由电池供电。这些需求可由脉冲神经网络（SNNs）满足，因其稀疏计算带来低功耗/低能耗处理，且具备受生物启发的学习机制以实现高效在线学习来适应不同环境。近期研究指出，SNNs 的能耗可通过减少每个神经元处理脉冲序列（时序步）的计算时间得以优化。然而，现有技术依赖密集设计搜索来仅为推理确定固定时序步设置，从而阻碍 SNNs 在训练与推理中获得进一步能效收益。这些技术也限制 SNNs 在运行时进行高效在线学习。为此，我们提出 TopSpark，一种利用自适应时序步缩减以实现训练与推理中高能效 SNN 处理的新方法，同时使其精度接近无时序步缩减 SNNs 的精度。TopSpark 的思想包括：分析不同时序步对精度的影响；识别在不同时序步中对精度有显著影响的神经元参数；采用参数增强使 SNNs 以更少脉冲活动有效完成学习与推理；以及制定在精度、延迟与能耗间权衡以满足设计需求的策略。结果表明，在不同网络规模、学习规则与工作负载下，TopSpark 平均将 SNN 延迟缩减 3.9 倍，能耗缩减 3.5 倍（训练）与 3.3 倍（推理），同时将精度保持在无时序步缩减 SNNs 的 2% 以内。
引用
@article{arxiv.2303.01826,
title = {TopSpark: A Timestep Optimization Methodology for Energy-Efficient Spiking Neural Networks on Autonomous Mobile Agents},
author = {Rachmad Vidya Wicaksana Putra and Muhammad Shafique},
journal= {arXiv preprint arXiv:2303.01826},
year = {2024}
}
备注
To appear at the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), October 2023, Detroit, MI, USA