使用静态合成梯度模块的的前馈式边缘端微调
计算机视觉与模式识别
2020-09-22 v1
摘要
在嵌入式设备上训练深度学习模型通常被避免，因为这比推理需要更多的内存、计算和功耗。本文致力于降低存储所有激活值所需的内存量，而这些激活值在反向传播计算梯度时是必需的。相反，在前向传播过程中，静态合成梯度模块（Synthetic Gradient Modules, SGMs）为每一层预测梯度。这使得模型以前馈方式训练而无需存储所有激活值。我们在一个机器人抓取场景中测试了该方法，其中机器人仅给定一次演示就需要学会抓取新物体。通过在一组常见物体上以元学习方式先训练 SGMs，在微调期间，SGMs 为模型提供了准确的梯度以成功学习抓取新物体。我们已表明，该方法与使用标准反向传播的结果相当。
引用
@article{arxiv.2009.09675,
title = {Feed-Forward On-Edge Fine-tuning Using Static Synthetic Gradient Modules},
author = {Robby Neven and Marian Verhelst and Tinne Tuytelaars and Toon Goedemé},
journal= {arXiv preprint arXiv:2009.09675},
year = {2020}
}