联合渐进式知识蒸馏与无监督域适应
机器学习
2020-05-19 v1 计算机视觉与模式识别
机器学习
摘要
目前，设计数据与运行数据间的分布差异以及巨大的计算复杂度是CNN在真实世界应用中采用的制约因素。例如，行人重识别系统通常依赖一组分布式摄像头，其中每个摄像头具有不同的采集条件。这可导致源域（如实验室环境）与目标域（如运行摄像头）之间的显著偏移。鉴于为每个目标域微调所捕获图像数据标注的成本，无监督域适应（UDA）已成为适配CNN的流行方法。此外，提供高精度的最先进深度学习模型常依赖对于实时应用过于复杂的架构。尽管近期提出了若干压缩与UDA方法来克服这些局限，它们不允许优化CNN以同时应对二者。本文提出一个未被探索的方向——CNN的联合优化以提供适配于给定目标域且表现良好的压缩模型。具体而言，所提方法通过利用源域与目标域数据，从复杂教师模型向紧凑学生模型执行无监督知识蒸馏（KD）。它还通过渐进式地教导学生关于域不变特征，而非直接在目标域数据上适配紧凑模型，从而改进现有UDA技术。我们的方法在UDA的两个流行分类数据集Office31和ImageClef-DA上对比了最先进压缩与UDA技术。在两个数据集中，结果表明我们的方法能在所需计算时间复杂度相当或更低的同时达到最高精度水平。
引用
@article{arxiv.2005.07839,
title = {Joint Progressive Knowledge Distillation and Unsupervised Domain Adaptation},
author = {Le Thanh Nguyen-Meidine and Eric Granger and Madhu Kiran and Jose Dolz and Louis-Antoine Blais-Morin},
journal= {arXiv preprint arXiv:2005.07839},
year = {2020}
}
备注
Accepted to WCCI/IJCNN 2020