噪声可能包含可迁移知识：从经验视角理解半监督异构域适应
机器学习
2025-02-20 v1
摘要
半监督异构域适应（SHDA）处理具有不同特征表示和分布的跨域学习问题，其中源域样本有标签，而大多数目标域样本无标签，只有一小部分有标签。此外，源域和目标域样本之间不存在一一对应关系。尽管已经开发了各种 SHDA 方法来解决这一问题，但跨异构域迁移知识的本质仍不清楚。本文从经验视角深入探讨这一问题。我们在约 330 个 SHDA 任务上进行了大量实验，采用了两种监督学习方法和七种代表性的 SHDA 方法。令人惊讶的是，我们的观察表明，源样本的类别和特征信息均未对目标域的性能产生显著影响。此外，从简单分布中提取的噪声在用作源样本时，可能包含可迁移知识。基于这一洞察，我们进行了一系列实验以揭示 SHDA 中可迁移知识的潜在原理。具体而言，我们为 SHDA 设计了一个统一的知识迁移框架（KTF）。基于 KTF，我们发现 SHDA 中的可迁移知识主要源于源域的可迁移性和可区分性。因此，确保源样本具备这些属性，无论其来源如何（例如图像、文本、噪声），都可以增强 SHDA 任务中知识迁移的有效性。代码和数据集可在 https://github.com/yyyaoyuan/SHDA 获取。
引用
@article{arxiv.2502.13573,
title = {Noise May Contain Transferable Knowledge: Understanding Semi-supervised Heterogeneous Domain Adaptation from an Empirical Perspective},
author = {Yuan Yao and Xiaopu Zhang and Yu Zhang and Jian Jin and Qiang Yang},
journal= {arXiv preprint arXiv:2502.13573},
year = {2025}
}