TinyProp——面向高效 TinyML 设备端学习的自适应稀疏反向传播

使用反向传播训练深度神经网络在内存和计算上都非常密集。这使得在微型嵌入式设备（如低功耗微控制器单元（MCUs））上运行设备端学习或微调神经网络变得困难。稀疏反向传播算法试图通过仅训练权重和偏置的一个子集来降低设备端学习的计算负载。现有方法使用静态数量的权重进行训练。这种所谓的反向传播比率若选择不当，要么限制计算收益，要么会导致严重的精度损失。在本文中，我们提出 TinyProp，这是第一种在设备端训练的每个训练步中动态自适应调整反向传播比率的稀疏反向传播方法。TinyProp 引入了较小的计算开销用于对梯度元素进行排序，这不会显著影响计算收益。TinyProp 在 MCU 上微调已训练网络时表现尤为出色，这是嵌入式应用的典型用例。对于来自 MNIST、DCASE2020 和 CIFAR10 三个数据集的典型数据集，我们相比非稀疏训练快 5 倍，平均精度损失为 1%。平均而言，TinyProp 比现有的静态稀疏反向传播算法快 2.9 倍，且相比典型的静态反向传播比率设置，平均精度损失降低了 6%。