基于对齐分布混合的启发式标签偏移自适应
机器学习
2024-11-06 v2 机器学习
摘要
作为在动态环境中解决现实问题的一个突出挑战，标签偏移（label shift）——即源（训练）集与目标（测试）集标签分布不匹配的学习设定——近年来受到越来越多的关注。现有的标签偏移方法仅使用无标签的目标样本来估计目标标签分布，并在分类器训练过程中不使用它们，导致对可用信息的利用不充分。一种常见的解决方案是在训练目标分类器时直接混合源分布和目标分布。然而，我们展示了在标签偏移设定下直接分布混合的理论偏差和局限性。为了解决这一关键但尚未被探索的问题，我们提出了对齐分布混合（Aligned Distribution Mixture）的概念，展示了其理论最优性和泛化误差界。通过借鉴泛化理论，我们提出了一种创新的标签偏移框架——对齐分布混合（ADM）。在该框架中，我们通过修改分类器训练过程增强了四种典型的标签偏移方法。此外，我们还提出了一种引入首创的耦合权重估计策略的单步方法。考虑到所提出的单步方法的独特性，我们开发了一种高效的双层优化策略。实验结果证明了我们方法的有效性，以及它们在 COVID-19 诊断应用中的有效性。
引用
@article{arxiv.2411.02047,
title = {Theory-inspired Label Shift Adaptation via Aligned Distribution Mixture},
author = {Ruidong Fan and Xiao Ouyang and Hong Tao and Yuhua Qian and Chenping Hou},
journal= {arXiv preprint arXiv:2411.02047},
year = {2024}
}