高维线性回归的迁移学习：预测、估计与极小极大最优性
统计方法学
2020-06-19 v1 机器学习
摘要
本文在迁移学习背景下，利用来自目标模型的样本以及来自不同但可能相关的回归模型的辅助样本，考虑高维线性回归的估计和预测问题。当“信息性”辅助样本集已知时，提出了一种估计量和预测器，并确立了它们的最优性。预测和估计的最优收敛速度比不使用辅助样本的相应速度更快。这意味着来自信息性辅助样本的知识可以被迁移，以改善目标问题的学习性能。在信息性辅助样本集未知的情况下，我们提出了一种数据驱动的迁移学习过程，称为 Trans-Lasso，并揭示了它对非信息性辅助样本的鲁棒性及其在知识迁移中的有效性。所提出的过程在数值研究中得到了验证，并被应用于一个关于基因表达关联的数据集。结果表明，通过将来自多个不同组织的数据作为辅助样本，Trans-Lasso 能够改善目标组织中基因表达预测的性能。
关键词
引用
@article{arxiv.2006.10593,
title = {Transfer Learning for High-dimensional Linear Regression: Prediction, Estimation, and Minimax Optimality},
author = {Sai Li and T. Tony Cai and Hongzhe Li},
journal= {arXiv preprint arXiv:2006.10593},
year = {2020}
}