域自适应深度网络压缩
计算机视觉与模式识别
2018-12-13 v2
摘要
在大型数据集上训练的深度神经网络可以通过称为微调的过程轻松转移到仅有远少标记样本的新域。这具有在大型源域学习的表示可被利用在较小目标域上的优势。然而，为源任务设计的最优网络对于目标任务往往大得 prohibitive。在这项工作中，我们解决域转移后网络的压缩问题。我们关注基于低秩矩阵分解的压缩算法。现有方法仅基于学习的网络权重进行压缩，而忽略网络激活的统计。我们展示域转移导致网络激活的巨大偏移，并且在压缩时考虑这一点是可取的。我们证明在压缩权重时考虑激活统计会导致一个具有闭式解的秩约束回归问题。因为我们的方法考虑了目标域，它可以更优地去除权重中的冗余。实验表明我们的域自适应低秩（DALR）方法显著优于现有低秩压缩技术。使用我们的方法，VGG19 的 fc6 层可以比单独使用截断 SVD 多压缩 4 倍以上——仅精度轻微或无损失。当应用于域转移网络时，它允许压缩到仅原始参数数量的 5-20%，性能仅轻微下降。
引用
@article{arxiv.1709.01041,
title = {Domain-adaptive deep network compression},
author = {Marc Masana and Joost van de Weijer and Luis Herranz and Andrew D. Bagdanov and Jose M Alvarez},
journal= {arXiv preprint arXiv:1709.01041},
year = {2018}
}
备注
Accepted at ICCV 2017