超越 $\mathcal{H}$-散度:基于 Jensen-Shannon 散度的域适应理论
机器学习
2020-07-31 v1 机器学习
摘要
我们揭示了被广泛采用的经验域对抗训练与其通常假定的基于 -散度的理论对应之间的不一致。具体而言,我们发现 -散度并不等价于 Jensen-Shannon 散度,即域对抗训练中的优化目标。为此,我们直接基于联合分布的 Jensen-Shannon 散度证明目标风险上下界,建立了新的理论框架。我们进一步导出了边缘与条件偏移的双向上界。我们的框架对不同的迁移学习问题展现出内在的灵活性,可用于 -散度理论无法适应的多种场景。从算法角度看,我们的理论提供了一条统一语义条件匹配、特征边缘匹配与标签边缘偏移校正原则的通用指导。我们为每一原则采用算法,并在真实数据集上实证验证了框架的益处。
引用
@article{arxiv.2007.15567,
title = {Beyond $\mathcal{H}$-Divergence: Domain Adaptation Theory With Jensen-Shannon Divergence},
author = {Changjian Shui and Qi Chen and Jun Wen and Fan Zhou and Christian Gagné and Boyu Wang},
journal= {arXiv preprint arXiv:2007.15567},
year = {2020}
}