ADMP：一种基于对抗双掩码的无监督跨域压缩剪枝框架
计算机视觉与模式识别
2020-06-09 v1 机器学习
摘要
尽管网络剪枝近期取得进展，直接将其应用于物联网（IoT）仍面临两个挑战，即端侧与云端数据的分布差异以及端设备数据标签的缺失。一种直接的解决方案是将无监督域适应（UDA）技术与剪枝结合。例如，模型先在云端剪枝，再通过 UDA 从云端迁移到端侧。然而，这种朴素组合面临严重的性能下降。因此，本工作提出一种用于此类跨域压缩的基于对抗双掩码剪枝（ADMP）方法。在 ADMP 中，我们构建知识蒸馏框架，不仅生成伪标签，还以全尺寸教师与剪枝学生之间输出差异的形式提供域差异度量。与现有基于掩码的剪枝工作不同，ADMP 采用两个对抗掩码，即软掩码与硬掩码。因此 ADMP 能有效剪枝模型，同时仍允许模型提取强域不变特征与鲁棒分类边界。训练期间，使用交替方向乘子法克服 {0,1} 掩码的二元约束。在 Office31 和 ImageCLEF-DA 数据集上，所提 ADMP 可剪掉 60% 通道，平均准确率损失仅分别为 0.2% 和 0.3%。与现有最优方法相比，我们可实现约 1.63 倍参数缩减以及 4.1% 和 5.1% 的准确率提升。
引用
@article{arxiv.2006.04127,
title = {ADMP: An Adversarial Double Masks Based Pruning Framework For Unsupervised Cross-Domain Compression},
author = {Xiaoyu Feng and Zhuqing Yuan and Guijin Wang and Yongpan Liu},
journal= {arXiv preprint arXiv:2006.04127},
year = {2020}
}