DAC：无数据自动加速卷积网络
计算机视觉与模式识别
2018-12-31 v2 机器学习
摘要
在移动端/物联网设备上部署深度学习模型是一项具有挑战性的任务。其难点在于计算速度与准确率之间的权衡。具有高准确率的复杂深度学习模型在资源受限设备上运行缓慢，而运行速度快得多的轻量级模型则会损失准确率。本文提出一种新颖的分解方法，即 DAC，能够将普通卷积层分解为两个参数少得多的层。DAC 直接从原始卷积层的权重计算新生成层的对应权重。因此，不需要训练（或微调）或任何数据。实验结果表明，DAC 在保持预训练模型高准确率的同时减少了大量浮点运算（FLOPs）。如果可接受 2% 的准确率下降，DAC 可节省 ImageNet 数据集上 VGG16 图像分类模型 53% 的 FLOPs、PASCAL VOC2007 数据集上 SSD300 目标检测模型 29% 的 FLOPs，以及 Microsoft COCO 数据集上多人姿态估计模型 46% 的 FLOPs。与其他现有分解方法相比，DAC 取得了更好的性能。
引用
@article{arxiv.1812.08374,
title = {DAC: Data-free Automatic Acceleration of Convolutional Networks},
author = {Xin Li and Shuai Zhang and Bolan Jiang and Yingyong Qi and Mooi Choo Chuah and Ning Bi},
journal= {arXiv preprint arXiv:1812.08374},
year = {2018}
}
备注
Accepted by IEEE Winter Conference on Applications of Computer Vision (WACV 2019)