开放集域自适应理论界与深度算法的桥梁
机器学习
2020-06-24 v1 计算机视觉与模式识别
机器学习
摘要
在无监督开放集域自适应(UOSDA)中，目标域包含源域中未观测到的未知类。该领域的研究者旨在训练一个分类器以准确：1)识别未知目标数据(具有未知类的数据)，以及2)分类其他目标数据。为实现此目标，已有研究证明了目标域风险的一个上界，其中开放集差异作为该上界中的重要项，被用于度量未知目标数据上的风险。通过最小化该上界，可训练浅层分类器以实现此目标。然而，若分类器非常灵活(例如深度神经网络(DNNs))，最小化上界时开放集差异会收敛至负值，从而导致多数目标数据被识别为未知数据的问题。为解决该问题，我们提出UOSDA目标域风险的新上界，其包含四项：源域风险、-开放集差异()、域间分布差异以及一个常数。相较于开放集差异，在最小化时对此问题更鲁棒，因而我们能够使用非常灵活的分类器(即DNNs)。接着，我们提出一种新原理引导的深度UOSDA方法，通过最小化新上界来训练DNNs。具体而言，源域风险与通过梯度下降最小化，分布差异通过一种新颖的开放集条件对抗训练策略最小化。最后，与现有浅层及深度UOSDA方法相比，我们的方法在多个基准数据集上取得最先进性能，包括数字识别(MNIST、SVHN、USPS)、物体识别(Office-31、Office-Home)与人脸识别(PIE)。
引用
@article{arxiv.2006.13022,
title = {Bridging the Theoretical Bound and Deep Algorithms for Open Set Domain Adaptation},
author = {Li Zhong and Zhen Fang and Feng Liu and Bo Yuan and Guangquan Zhang and Jie Lu},
journal= {arXiv preprint arXiv:2006.13022},
year = {2020}
}