用于无监督无源域适应的Jacobian范数
机器学习
2022-04-08 v1 多媒体
摘要
无监督无源（数据）域适应（USFDA）旨在将知识从一个训练有素的源模型迁移到一个相关但无标签的目标域。在这种场景下，所有需要源数据的传统适应方法都会失败。为应对这一挑战，现有的 USFDA 方法转而通过将目标特征对齐到隐藏在源模型中的潜在分布来迁移知识。然而，此类信息天然有限。因此，这种场景下的对齐不仅困难而且不足，从而降低了目标泛化性能。为缓解当前 USFDA 中的这一困境，我们致力于探索一个新的视角来提升其性能。为此目的并获得必要的洞察，我们回顾了域适应的起源，并首先基于模型平滑性从理论上推导出一个全新的目标泛化误差界。然后，遵循这一理论洞察，我们设计了一个通用的、由模型平滑性引导的 Jacobian 范数（JN）正则化项，并将其施加于目标域以缓解此困境。我们进行了大量实验来验证其有效性。在其实现中，仅需向现有 USFDA 方法添加几行代码，我们就在各种基准数据集上取得了优异的结果。
引用
@article{arxiv.2204.03467,
title = {Jacobian Norm for Unsupervised Source-Free Domain Adaptation},
author = {Weikai Li and Meng Cao and Songcan Chen},
journal= {arXiv preprint arXiv:2204.03467},
year = {2022}
}
备注
8 pages