TinyPropv2：面向低功耗微控制器的端到端稀疏高效反向传播算法
机器学习
2024-09-12 v1 人工智能
摘要
本研究介绍TinyPropv2，这是一种针对深度神经网络在设备端学习的创新算法，专为低功耗微控制器单元设计。TinyPropv2改进了稀疏反向传播，通过动态调整稀疏度水平，包括能够选择性跳过训练步骤。这一功能显著降低了计算 effort，而不会显著牺牲准确性。我们对CIFAR 10、CIFAR100、Flower、Food、Speech Command、MNIST、HAR和DCASE2020等多样化数据集进行了全面评估，结果表明TinyPropv2在大多数情况下与完整训练方法几乎持平，平均准确率下降约1%。例如，针对CIFAR 10，TinyPropv2的准确率下降仅为0.82%；针对CIFAR100，仅为1.07%。在计算 effort方面，TinyPropv2显示出显著的减少，在某些场景下仅需完整训练的10%的计算 effort，始终优于其他稀疏训练方法。这一发现凸显了TinyPropv2在维持高准确性的同时有效管理计算资源的能力，使其成为物联网生态系统中先进嵌入式设备应用的有利解决方案。
关键词
引用
@article{arxiv.2409.07109,
title = {Advancing On-Device Neural Network Training with TinyPropv2: Dynamic, Sparse, and Efficient Backpropagation},
author = {Marcus Rüb and Axel Sikora and Daniel Mueller-Gritschneder},
journal= {arXiv preprint arXiv:2409.07109},
year = {2024}
}
备注
2024 International Joint Conference on Neural Networks (IJCNN)