一种用于标签偏移估计与量化的半参数有效方法
机器学习
2022-11-09 v1 统计理论
统计理论
摘要
迁移学习是统计学与机器学习研究中寻求以下问题答案的领域：当可用于训练模型的数据与我们希望模型表现良好的数据在性质上不同时，我们如何构建成功的学习算法？在本文中，我们关注迁移学习的一个特定领域，称为标签偏移，也称为量化（quantification）。在量化中，上述差异被隔离为响应变量分布的偏移。在此类设定下，准确推断响应变量的新分布既是一项重要的估计任务，也是确保学习算法能适应新数据的关键步骤。我们对该领域做出两点贡献。首先，我们提出一种称为SELSE的新过程，用于估计响应变量分布的偏移。其次，我们证明SELSE在一大类量化算法中是半参数有效的，即SELSE的归一化误差具有比该族中任何其他算法都尽可能小的渐近方差矩阵。该族包含几乎所有现有算法，包括ACC/PACC量化器和基于最大似然的量化器如EMQ和MLLS。实证实验表明，SELSE与现有最先进量化方法相比具有竞争力，且在许多情况下优于它们，当测试样本数远大于训练样本数时这种改进尤其大。
引用
@article{arxiv.2211.04274,
title = {A Semiparametric Efficient Approach To Label Shift Estimation and Quantification},
author = {Brandon Tse Wei Chow},
journal= {arXiv preprint arXiv:2211.04274},
year = {2022}
}