重新审视最大均值差异用于域适应
机器学习
2020-07-03 v1 机器学习
摘要
现有的域适应方法旨在通过建立最大均值差异（MMD）与判别距离，来减小源域与目标域之间的分布差异并尊重其特定的判别信息。然而，它们通常累积地考虑这些统计量，并通过盲目估计参数来处理它们之间的关系。本文从理论证明了两个基本事实：1）最小化 MMD 等价于分别最大化源域和目标的类内距离，但以某些隐式权重联合最小化它们的方差，从而导致特征判别性退化；2）类内距离与类间距离之间的关系此消彼长。基于此，我们提出了一种新颖的判别型 MMD。一方面，我们单独考虑类内与类间距离以去除冗余参数，且所揭示的权重给出了它们的近似最优范围。另一方面，我们设计两种不同的策略来增强特征判别性：1）我们直接在 MMD 的隐式类内距离上施加一个权衡参数以调节其变化；2）我们将 MMD 中揭示的相似权重施加于类间距离并最大化之，进而可引入一个平衡因子来定量权衡特征可迁移性与其判别性的相对重要性。在多个基准数据集上的实验不仅证明了理论结果的有效性，也表明我们的方法显著优于对比的 SOTA 方法。
引用
@article{arxiv.2007.00689,
title = {Rethink Maximum Mean Discrepancy for Domain Adaptation},
author = {Wei Wang and Haojie Li and Zhengming Ding and Zhihui Wang},
journal= {arXiv preprint arXiv:2007.00689},
year = {2020}
}