FastSpiker：通过自适应嵌入式系统的学习率增强实现事件数据上脉冲神经网络的快速训练
神经与进化计算
2025-01-22 v2 人工智能
机器学习
机器人学
摘要
自主嵌入式系统（如机器人）通常需要低功耗/能耗的智能计算以完成其任务。这种要求可以通过因其高学习质量（如准确率）和稀疏计算而实现的具身神经形态智能来满足，后者使用脉冲神经网络 (SNN)。因此，事件数据更倾向于确保输入和处理部分之间的无缝连接。然而，现有的 SNN 仍面临长时间训练以获得高准确率的挑战，从而导致高能耗和高碳排放率。为此，我们提出 FastSpiker，一种通过针对自主嵌入式系统的学习率增强，使事件数据上的 SNN 训练变得快速的新方法。在 FastSpiker 中，我们首先研究不同学习率策略及其值的影响，然后选择能够快速提供高准确率的策略。随后，我们探索所选学习率策略的不同设置，以通过基于统计的决策找到合适的策略。实验结果表明，我们的 FastSpiker 在事件驱动的汽车数据集（即 NCARS）上实现最高可达 10.5 倍的训练时间加速，碳排放率降低最高可达 88.39%，以获得高于或相当于当前技术的更高或可比的准确率。如此一来，我们的 FastSpiker 方法为实现自主嵌入式系统的具身神经形态智能提供了绿色可持续的计算路径。
引用
@article{arxiv.2407.05262,
title = {FastSpiker: Enabling Fast Training for Spiking Neural Networks on Event-based Data through Learning Rate Enhancements for Autonomous Embedded Systems},
author = {Iqra Bano and Rachmad Vidya Wicaksana Putra and Alberto Marchisio and Muhammad Shafique},
journal= {arXiv preprint arXiv:2407.05262},
year = {2025}
}
备注
To appear at the 18th International Conference on Control, Automation, Robotics and Vision (ICARCV), December 2024, Dubai, UAE