条件不变分量在域适应中的突出作用：理论与算法
机器学习
2025-07-17 v3 机器学习
摘要
域适应（DA）是一种统计学习问题，出现在用于训练模型的源数据分布与用于评估模型的目标数据分布不同时。尽管许多 DA 算法已展现出可观的实证成功，盲目应用这些算法常会导致在新数据集上性能更差。为此，厘清 DA 算法具有良好目标性能的假设至关重要。本工作中，我们聚焦于存在条件不变分量（CICs）的假设，这些分量与预测相关且在源数据与目标数据间保持条件不变。我们证明，可通过条件不变惩罚（CIP）估计的 CICs 在为 DA 提供目标风险保证方面扮演三个突出角色。首先，我们提出一种基于 CICs 的新算法，即重要性加权条件不变惩罚（IW-CIP），其在协变量偏移和标签偏移等简单设定之外也具有目标风险保证。其次，我们表明 CICs 有助于识别其他 DA 算法的源风险与目标风险之间的巨大差异。最后，我们证明将 CICs 纳入域不变投影（DIP）算法可解决由标签翻转特征引起的其失效场景。我们通过在合成数据、MNIST、CelebA、Camelyon17 和 DomainNet 数据集上的数值实验支撑我们的新算法与理论发现。
引用
@article{arxiv.2309.10301,
title = {Prominent Roles of Conditionally Invariant Components in Domain Adaptation: Theory and Algorithms},
author = {Keru Wu and Yuansi Chen and Wooseok Ha and Bin Yu},
journal= {arXiv preprint arXiv:2309.10301},
year = {2025}
}