高维广义线性模型下的迁移学习
机器学习
2022-04-19 v4 机器学习
统计方法学
摘要
本工作研究高维广义线性模型 (GLMs) 下的迁移学习问题,旨在通过借用有用源数据的信息来改进目标数据的拟合。在给定待迁移源的条件下,我们提出一种 GLM 上的迁移学习算法,并推导其 估计误差界及一种预测误差测度的界。理论分析表明,当目标与源足够接近时,在温和条件下这些界可优于仅使用目标数据的经典惩罚估计量之对应界。当未知待迁移源时,引入一种无算法的可迁移源检测方法以识别信息性源。证明了该检测在高维 GLM 迁移学习设定下的一致性。我们还提出一种为每个系数分量构造置信区间的算法,并给出相应理论。大量仿真与真实数据实验验证了算法的有效性。我们在新的 R 包 glmtrans 中实现了所提 GLM 迁移学习算法,该包已于 CRAN 发布。
引用
@article{arxiv.2105.14328,
title = {Transfer Learning under High-dimensional Generalized Linear Models},
author = {Ye Tian and Yang Feng},
journal= {arXiv preprint arXiv:2105.14328},
year = {2022}
}
备注
94 pages, 11 figures