既见则可改: 实现边缘端基于数据驱动的 CNN 微调
计算机视觉与模式识别
2020-06-18 v1 机器学习
摘要
在当今世界中,边缘设备生成海量数据,这些数据可用作宝贵的训练数据,以提升机器学习算法的精度表现或降低模型的计算需求。然而,由于用户数据隐私顾虑以及存储与通信带宽限制,这些数据无法从设备传输至数据中心以进一步改进模型并随后部署。因此,亟需增强边缘智能,使已部署模型能在边缘端进行微调,从而提升精度及/或降低模型的工作负载以及其内存与功耗占用。对于卷积神经网络(CNNs)而言,网络的权重及其拓扑结构均可被调整,以适应其所处理的数据。本文基于结构化剪枝,为实现边缘设备上的 CNN 微调提供了第一步。它探究了此举的性能收益与代价,并提出了一种可扩展的开源框架,可在广泛的网络架构与设备上部署此类方法。结果表明,平均而言,带重训练的数据感知剪枝在各类子集、网络与剪枝水平下可比不考虑网络所处理数据的数据无关剪枝与重训练方式提升 10.2 个百分点的精度,最大提升达 42.0 个百分点。
引用
@article{arxiv.2006.08554,
title = {Now that I can see, I can improve: Enabling data-driven finetuning of CNNs on the edge},
author = {Aditya Rajagopal and Christos-Savvas Bouganis},
journal= {arXiv preprint arXiv:2006.08554},
year = {2020}
}
备注
Accepted for publication at CVPR2020 workshop - Efficient Deep Learning for Computer Vision