论通用黑盒域适应
机器学习
2021-04-13 v1 计算机视觉与模式识别
摘要
在本文中，我们研究了一种从实际部署角度看限制最少的域适应设定，其中目标域仅能访问源模型的接口，且两域之间的标签空间关系可以不同且未知。我们将此设定称为通用黑盒域适应（UBDA）。然而，UBDA所作出的重大承诺带来了显著的学习挑战，因为域适应只能通过在部分重叠的标签空间中利用未标记目标数据的预测，并通过访问源模型接口来实现。为应对这些挑战，我们首先注意到该学习任务可转化为类内判别与类外检测两个子任务，它们可分别通过模型蒸馏与熵分离来学习（脚注：在本文中，我们使用类内（类外）来描述在源黑盒模型中观察到（未观察到）的类别）。我们提出将其统一到一个自训练框架中，并由目标样本局部邻域预测的一致性所正则化。我们的框架简单、鲁棒且易于优化。在域适应基准上的实验显示了其有效性。值得注意的是，仅通过访问源模型接口，我们的框架在以新提出的（且 arguably 更合理的）H-score 度量下优于利用源数据和/或源模型的现有通用域适应方法，并在平均类别准确率度量下与之表现相当。
引用
@article{arxiv.2104.04665,
title = {On Universal Black-Box Domain Adaptation},
author = {Bin Deng and Yabin Zhang and Hui Tang and Changxing Ding and Kui Jia},
journal= {arXiv preprint arXiv:2104.04665},
year = {2021}
}