通过两阶段知识蒸馏的黑盒无源域自适应
计算机视觉与模式识别
2023-08-24 v3
摘要
无源域自适应旨在仅利用预训练的源模型与目标数据来适配深度神经网络。然而，访问源模型仍存在泄露源数据、暴露患者隐私的潜在隐患。本文研究一个具挑战性但实用的问题：黑盒无源域自适应，即仅提供源模型的输出与目标数据。我们提出一种简单而有效的两阶段知识蒸馏方法。在第\uppercase\expandafter{\romannumeral1}阶段，我们以知识蒸馏方式，利用源模型生成的软伪标签从零训练目标模型。在第\uppercase\expandafter{\romannumeral2}阶段，我们初始化另一模型作为新学生模型，以避免由噪声伪标签导致的错误累积。我们将弱增强图像输入教师模型以引导学生模型的学习。我们的方法简单灵活，并在三项跨域分割任务上取得了令人惊讶的结果。
引用
@article{arxiv.2305.07881,
title = {Black-box Source-free Domain Adaptation via Two-stage Knowledge Distillation},
author = {Shuai Wang and Daoan Zhang and Zipei Yan and Shitong Shao and Rui Li},
journal= {arXiv preprint arXiv:2305.07881},
year = {2023}
}
备注
The short version is accepted by IJCAI 1st International Workshop on Generalizing from Limited Resources in the Open World. (This version is long version)