DWMD：面向特定域隐表示匹配的维度加权有序矩差异
机器学习
2020-07-21 v1 机器学习
摘要
将知识从源域迁移到一个不同但语义相关的目标域，长期以来是无监督域适应（UDA）中的一个重要课题。该领域的一个关键挑战是建立一种能够精确度量两个同构域之间数据分布差异并在分布对齐中采用它的度量，特别是在隐激活空间中的特征表示匹配方面。现有的分布匹配方法可被理解为要么未能显式地有序对齐高阶矩，要么在实际使用中满足某些假设的前提条件。我们提出了一种新颖的基于矩的概率分布度量，称为维度加权有序矩差异（DWMD），用于 UDA 场景下的特征表示匹配。我们的度量函数利用了一系列高阶矩对齐，并且我们从理论上证明我们的 DWMD 度量函数是无误差的，这意味着它能够严格反映域间的分布差异，并且在无任何特征分布假设下有效。此外，由于各特征维度上概率分布之间的差异不同，我们的函数中考虑了维度加权。我们进一步计算了实际应用中 DWMD 度量经验估计的误差界。在基准数据集上的综合实验表明，我们的方法产生了最先进的分布度量。
引用
@article{arxiv.2007.09312,
title = {DWMD: Dimensional Weighted Orderwise Moment Discrepancy for Domain-specific Hidden Representation Matching},
author = {Rongzhe Wei and Fa Zhang and Bo Dong and Qinghua Zheng},
journal= {arXiv preprint arXiv:2007.09312},
year = {2020}
}