面向多域高效无监督适应的知识蒸馏方法
计算机视觉与模式识别
2021-01-20 v1 人工智能
摘要
除了 CNN 需在大规模标注数据集上训练的复杂性外，设计数据与运行数据之间的域偏移限制了 CNN 在许多实际应用中的采用。例如，在行人重识别中，视频由具有非重叠视角的分布式摄像机集合捕获。源域（如实验室环境）与目标域（如摄像机）之间的偏移可能导致识别精度显著下降。此外，鉴于计算需求，最先进的 CNN 可能不适合此类实时应用。尽管近来已有若干技术通过无监督域适应（UDA）解决域偏移问题，或通过知识蒸馏（KD）加速/压缩 CNN，我们旨在同时适应并压缩 CNN 以在多个目标域上良好泛化。本文中，我们提出了一种渐进式 KD 方法，用于 CNN 的无监督单目标域适应（STDA）与多目标域适应（MTDA）。我们的 KD-STDA 方法通过从更大的教师 CNN 蒸馏，将 CNN 适应到单一目标域，该教师 CNN 在目标与源域数据上训练以保持其与公共表示的一致性。我们所提方法在 Office31 与 ImageClef-DA 图像分类数据集上对比了最先进的 CNN 压缩与 STDA 方法，并在 Digits、Office31 与 OfficeHome 上对比了最先进的 MTDA 方法。在 KD-STDA 与 KD-MTDA 两种设定下，结果表明我们的方法在目标域上均能取得最高精度，同时所需 CNN 复杂度相当或更低。
引用
@article{arxiv.2101.07308,
title = {Knowledge Distillation Methods for Efficient Unsupervised Adaptation Across Multiple Domains},
author = {Le Thanh Nguyen-Meidine and Atif Belal and Madhu Kiran and Jose Dolz and Louis-Antoine Blais-Morin and Eric Granger},
journal= {arXiv preprint arXiv:2101.07308},
year = {2021}
}
备注
This is the extended journal version of arXiv:2005.07839