基于半非参数干扰模型的增广迁移回归学习

在当代统计学习中，当测试数据分布相对于训练数据发生偏移时，协变量偏移校正（covariate shift correction）在迁移学习中起着重要作用。重要性加权（importance weighting）作为调整协变量偏移的一种自然且基于原则的策略，已广泛应用于迁移学习领域。然而，该策略对模型误设定或过度估计误差不具鲁棒性。在本文中，我们提出一种增广迁移回归学习（ATReL）方法，该方法为目标响应引入一个插补模型，并用其增广重要性加权方程。通过对两个干扰模型采用新颖的半非参数构造和校准矩估计方程，我们的 ATReL 方法更不易受（i）相对于非参数方法存在的维度灾难，以及（ii）相对于参数方法存在的模型误设定的影响。我们证明，当至少其中一个干扰模型被正确设定时，我们的 ATReL 估计量是 $\sqrt{n}$ 一致的，干扰模型参数部分的估计达到参数速率，且非参数分量具有双重鲁棒速率。模拟研究表明，在各种配置下，我们的方法比现有的参数和完全非参数（机器学习）估计量更鲁棒且更高效。我们还通过一个关于类风湿性关节炎表型算法在不同时间窗间迁移学习的真实示例检验了我们方法的效用。最后，我们提出了提升我们估计量内在效率的方法，并将现代机器学习方法纳入我们所提出的框架。