通过自监督实例过滤与误差图剪枝实现设备端 CNN 训练
机器学习
2020-07-08 v1 机器学习
摘要
本工作旨在通过降低训练时的计算成本，实现卷积神经网络 (CNNs) 的设备端训练。CNN 模型通常在高性能计算机上训练，仅将训练好的模型部署到边缘设备。但静态训练的模型无法在真实环境中动态适应，可能导致对新输入精度低下。部署后通过从真实世界数据学习进行设备端训练可大幅提升精度。然而，高计算成本使得资源受限设备难以进行训练。为解决该问题，我们探究训练中的计算冗余，并通过两种互补方法降低计算成本：数据层面的自监督早期实例过滤与算法层面的误差图剪枝。早期实例过滤器从输入流中选取重要实例训练网络并丢弃平凡实例。误差图剪枝进一步在使用所选实例训练时剪除不显著的计算。大量实验表明，计算成本被大幅降低且无精度损失或仅有微小精度损失。例如，在 CIFAR-10 上训练 ResNet-110 时，我们在保持全精度下实现 68% 的计算节省，以及在 1.3% 微小精度损失下实现 75% 的计算节省。当量化集成到所提方法中时，以低于 0.1% 的精度损失实现了 96% 的激进计算节省。此外，在 MNIST 上训练 LeNet 时，我们节省 79% 计算的同时精度提升 0.2%。
引用
@article{arxiv.2007.03213,
title = {Enabling On-Device CNN Training by Self-Supervised Instance Filtering and Error Map Pruning},
author = {Yawen Wu and Zhepeng Wang and Yiyu Shi and Jingtong Hu},
journal= {arXiv preprint arXiv:2007.03213},
year = {2020}
}