暗域下的课程引导域适应
计算机视觉与模式识别
2023-08-03 v1 机器学习
摘要
针对日益凸显的隐私与安全关切，暗域下的域适应旨在将黑盒源训练模型适应到无标签目标域，且无法访问任何源数据或源模型参数。随着基于深度学习的解决方案日益商业化，对黑盒预测器进行域适应的需求变得更为迫切，以保护知识产权。现有方法将源模型在目标数据上得到的含噪预测蒸馏到目标模型，和/或在用传统含噪标签学习算法适应前分离干净/含噪目标样本。然而，这些方法未利用干净/含噪数据划分中由易到难的学习特性。并且，现有方法均非端到端，需要单独的微调阶段与初始预热阶段。本工作中，我们提出黑盒课程适应(CABB)，提供一种课程引导的适应方法，逐步训练目标模型：先在具有高置信度(干净)标签的目标数据上训练，再在含噪标签的目标数据上训练。与传统交叉熵损失准则相比，CABB 利用 Jensen-Shannon 散度作为干净-含噪样本分离的更优准则。我们的方法采用双分支网络协同训练以抑制由确认偏差导致的误差累积。所提方法可端到端训练，且不像现有方法那样需要任何额外微调阶段。在标准域适应数据集上的实证结果表明，CABB 优于现有最优黑盒域适应(DA)模型，并与白盒域适应模型相当。
引用
@article{arxiv.2308.00956,
title = {Curriculum Guided Domain Adaptation in the Dark},
author = {Chowdhury Sadman Jahan and Andreas Savakis},
journal= {arXiv preprint arXiv:2308.00956},
year = {2023}
}