超越偏差：分布迁移理论的更深入探讨
机器学习
2024-05-30 v1
摘要
许多机器学习模型在分布迁移情境下能轻松部署，并在目标分布上表现良好，即使该分布与训练分布差异显著。然而，分布迁移的学习理论仅将目标分布的性能界限为源分布与目标分布之间的偏差，很少能保证高目标准确率。为弥合这一差距，本文从源分布到目标分布的分类器角度，深入探讨分布迁移理论。我们不依赖偏差度量，而采用类似不变风险最小化（IRM）的假设来连接分布，刻画数据来自源分布时，对目标分类准确的条件。当这些条件不满足时，我们指出仅凭 unlabeled 目标数据是否足以，或是否需要 labeled 目标数据。在所有情况下，我们在大样本 regime 中提供严格的理论保证。
引用
@article{arxiv.2405.19156,
title = {Beyond Discrepancy: A Closer Look at the Theory of Distribution Shift},
author = {Robi Bhattacharjee and Nick Rittler and Kamalika Chaudhuri},
journal= {arXiv preprint arXiv:2405.19156},
year = {2024}
}