通过迁移通道剪枝加速深度无监督域适应
机器学习
2019-04-05 v1 计算机视觉与模式识别
摘要
深度无监督域适应（UDA）近来受到研究者越来越多的关注。然而，由于大多数工作采用的卷积神经网络（CNN）的计算成本，现有方法计算密集。迄今为止，尚无有效的网络压缩方法用于加速这些模型。本文提出一种统一的迁移通道剪枝（TCP）方法以加速 UDA 模型。TCP 能够通过剪枝较不重要的通道来压缩深度 UDA 模型，同时通过学习可迁移特征、减小跨域分布差异来降低负迁移影响，并在目标任务上保持有竞争力的性能。据我们所知，TCP 是首个旨在加速深度 UDA 模型的方法。TCP 在两个基准数据集 Office-31 和 ImageCLEF-DA 以及两种常用骨干网络 VGG16 和 ResNet50 上得到验证。实验结果表明，TCP 在显著降低计算成本的同时取得了与对比方法相当或更好的分类精度。具体而言，在 VGG16 中，剪枝 26% 浮点运算（FLOPs）后我们获得了更高精度；在 ResNet50 中，剪枝 12% FLOPs 后我们在一半任务上也获得了更高精度。我们希望 TCP 为未来加速迁移学习模型的研究开启新门。
引用
@article{arxiv.1904.02654,
title = {Accelerating Deep Unsupervised Domain Adaptation with Transfer Channel Pruning},
author = {Chaohui Yu and Jindong Wang and Yiqiang Chen and Zijing Wu},
journal= {arXiv preprint arXiv:1904.02654},
year = {2019}
}
备注
Accepted by International Joint Conference on Neural Networks (IJCNN) 2019; 8 pages