高维中基于角度的鲁棒迁移学习
统计方法学
2025-02-19 v4
摘要
迁移学习旨在利用来自相关源总体的数据来提升目标模型的性能,已知其在目标数据不足的情况下尤为有用。本文研究如何利用有限的目标数据和在异质源总体上训练得到的现有回归模型来训练高维岭回归模型的问题。我们考虑一种实际设定,即仅能获取已拟合源模型的参数估计值,而非个体层面的源数据。在仅有一个源模型的设定下,我们提出一种新颖灵活的基于角度的迁移学习(angleTL)方法,其利用了源模型与目标模型参数之间的一致性。我们表明 angleTL 在构造上统一了若干基准方法,包括仅用目标数据训练的目标仅用模型、在源数据上拟合的源模型,以及基于距离的迁移学习方法(该方法在基于距离的相似性约束下结合源参数估计与目标数据)。我们还提供了有效整合多个源模型的算法,并考虑到某些源模型可能比其他源模型更有帮助的事实。我们的高维渐近分析就源模型何时有助于目标模型提供了阐释与见解,并证明了 angleTL 相对于其他基准方法的优越性。我们进行了广泛的模拟研究以验证理论结论,并展示了将 angleTL 应用于跨多个生物样本库迁移现有遗传风险预测模型的可行性。
引用
@article{arxiv.2210.12759,
title = {Robust angle-based transfer learning in high dimensions},
author = {Tian Gu and Yi Han and Rui Duan},
journal= {arXiv preprint arXiv:2210.12759},
year = {2025}
}