协变量偏移下的迁移学习：具有重尾设计的局部 $k$-近邻回归
统计理论
2024-01-23 v1 统计理论
摘要
协变量偏移是一种常见的迁移学习场景，其中输入变量的边缘分布在源数据和目标数据之间有所不同，而输出变量的条件分布保持一致。描述边缘分布之间差异的现有概念在处理无界支撑集时面临局限性，特别是当目标分布具有更重的尾部时。为了克服这些挑战，我们引入了一个称为密度比指数的新概念，以量化协变量偏移下边缘分布尾部的相对衰减率。此外，我们提出了用于迁移学习的局部 -近邻回归器，它根据每个测试样本的边缘似然自适应调整最近邻的数量。从理论角度，我们建立了在有和没有目标域监督信息情况下的收敛速率。这些速率表明，当密度比指数满足特定条件时，我们的估计器实现了更快的收敛速率，突出了使用密度估计为每个测试样本确定不同最近邻数量的优势。我们的贡献增强了对协变量偏移下迁移学习的理解和适用性，特别是在无界支撑集和重尾分布的场景中。
引用
@article{arxiv.2401.11554,
title = {Transfer Learning under Covariate Shift: Local $k$-Nearest Neighbours Regression with Heavy-Tailed Design},
author = {Petr Zamolodtchikov and Hanyuan Hang},
journal= {arXiv preprint arXiv:2401.11554},
year = {2024}
}