面向含无标签数据的跨域少样本识别的动态蒸馏网络
计算机视觉与模式识别
2021-11-02 v3
摘要
现有多数少样本学习工作依赖于在大型基数据集上对该网络进行元学习，而该基数据集通常与目标数据集来自同一域。我们解决跨域少样本学习问题，其中基域与目标域之间存在较大偏移。含无标签目标数据的跨域少样本识别问题在文献中基本上未被解决。STARTUP 是首个利用自训练解决该问题的方法。然而，它使用在带标签基数据集上预训练的固定教师网络为无标签目标样本创建软标签。由于基数据集与无标签数据集来自不同域，用固定预训练模型将目标图像投影到基数据集的类别域中可能是次优的。我们提出一种简单的基于动态蒸馏的方法，以利用来自新/基数据集的无标签图像。我们通过计算教师网络对无标签图像的弱增强版本的预测并将其与学生网络对同一图像的强增强版本的预测相匹配，施加一致性正则化。教师网络的参数作为学生网络参数的指数移动平均进行更新。我们表明，所提出的网络学习到的表示可以轻易适配到目标域，尽管其在预训练阶段未使用目标特定类别进行训练。我们的模型在 BSCD-FSL 基准上以 1-shot 分类超出当前最先进方法 4.4%，以 5-shot 分类超出 3.6%，并且在传统同域少样本学习任务上也展现出有竞争力的性能。
引用
@article{arxiv.2106.07807,
title = {Dynamic Distillation Network for Cross-Domain Few-Shot Recognition with Unlabeled Data},
author = {Ashraful Islam and Chun-Fu Chen and Rameswar Panda and Leonid Karlinsky and Rogerio Feris and Richard J. Radke},
journal= {arXiv preprint arXiv:2106.07807},
year = {2021}
}
备注
Accepted to NeurIPS 2021