面向边缘设备的前向传播增量训练方法
机器学习
2021-03-26 v1 硬件体系结构
摘要
深度神经网络（DNN）通常部署在处于不断变化环境中的终端设备中。为使系统保持精度，其必须能够适应变化并通过重新训练网络的部分来恢复，这一点至关重要。然而，终端设备资源有限，使得在同一设备上训练颇具挑战。此外，由于反向传播算法，训练深度神经网络在内存和计算上均十分密集。本文引入一种使用进化策略（ES）的方法，可部分重训网络，使其适应变化并在发生错误后恢复。该技术在仅需推理的硬件上即可实现训练，无需使用反向传播且资源开销极小。我们展示了在输入注入噪声后，该技术重训量化 MNIST 神经网络的能力。此外，我们给出了在 HLS4ML（一种推理硬件架构）上实现训练所需的微架构，并用 Verilog 实现。我们针对 Xilinx Kintex Ultrascale 现场可编程门阵列（FPGA）综合了实现，用于增量训练的资源占用不到 1%。
引用
@article{arxiv.2103.14007,
title = {Enabling Incremental Training with Forward Pass for Edge Devices},
author = {Dana AbdulQader and Shoba Krishnan and Claudionor N. Coelho},
journal= {arXiv preprint arXiv:2103.14007},
year = {2021}
}
备注
6 pages, 7 figures