面向高维线性回归的残差重要性加权迁移学习
统计方法学
2024-01-04 v2
摘要
迁移学习是一种利用多源数据改进单一目标统计推断的新兴范式。本文提出一种基于惩罚似然的高维线性模型新方法，称为残差重要性加权迁移学习（RIW-TL）。与以全有或全无方式选择源的现有方法（如 Trans-Lasso）相比，RIW-TL 通过重要性加权纳入样本，从而可能实现更有效的样本利用。为确定权重，RIW-TL 仅需依赖于残差的一维密度知识，从而克服了朴素重要性加权中必须估计高维密度所带来的维数灾难。我们证明 oracle RIW-TL 比其竞争者具有更快的收敛速率，并发展了交叉拟合过程来估计该 oracle。我们通过采用不同的残差加权选择讨论了 RIW-TL 的变体。建立了 RIW-TL 及其变体的理论性质，并与 LASSO 和 Trans-Lasso 进行了比较。大量模拟和真实数据分析证实了它的优势。
引用
@article{arxiv.2311.07972,
title = {Residual Importance Weighted Transfer Learning For High-dimensional Linear Regression},
author = {Junlong Zhao and Shengbin Zheng and Chenlei Leng},
journal= {arXiv preprint arXiv:2311.07972},
year = {2024}
}