迈向边缘端设备上学习：预算约束下选择待更新神经元的方法

在极端内存和计算约束下的高效设备上学习领域，成功方法方面仍存在显著差距。尽管在高效推理方面已经付出了大量努力，但高效学习的主要障碍是反向传播的高昂成本。计算梯度和更新网络参数所需的资源往往超出了严格受限的内存预算限制。本文挑战了传统观念，并提出了一系列实验，揭示了优越子网络的存在。此外，我们暗示了在微调目标任务时，通过动态神经元选择策略可以获得显著收益的潜力。我们的工作还扩展了由 Bragagnolo 等人（NEq）开创的最近一种动态神经元选择策略，揭示了其在最严格场景下的有效性。我们的实验表明，在平均情况下，受 NEq 启发的方法优于随机选择。这一观察结果为该领域的进一步探索提供了一条极具吸引力的途径，突出了设计一类旨在促进参数更新选择的新算法的机会。我们的发现为极端约束下的设备上学习领域开启了新时代的可能性，并鼓励追求创新策略以实现高效、资源友好的模型微调。