AdaTrans:面向高维回归的特征自适应与样本自适应迁移学习
机器学习
2024-11-26 v3 机器学习
统计理论
统计方法学
统计理论
摘要
我们研究高维线性回归设定下的迁移学习问题,其中特征维度大于样本量。为学习可能随特征或源样本而变化的可迁移信息,我们提出一种自适应迁移学习方法,能够检测并聚合特征层面(F-AdaTrans)或样本层面(S-AdaTrans)的可迁移结构。我们通过采用融合惩罚(fused-penalty)结合可根据可迁移结构自适应调整的权重来实现这一目标。为选择权重,我们提出一种理论指导下的数据驱动流程,使 F-AdaTrans 能够在过滤掉不可迁移信号的同时,有选择地将可迁移信号与目标相融合;而 S-AdaTrans 则可获得从每个源样本迁移信息的最优组合。我们证明,在权重选取恰当时,F-AdaTrans 可达到接近于已知可迁移结构下 oracle 估计器的收敛速率,S-AdaTrans 则将现有的近极小极大最优速率作为特例予以恢复。通过仿真与真实数据验证了所提方法的有效性,展示了其相对于现有方法的优越性能。
引用
@article{arxiv.2403.13565,
title = {AdaTrans: Feature-wise and Sample-wise Adaptive Transfer Learning for High-dimensional Regression},
author = {Zelin He and Ying Sun and Jingyuan Liu and Runze Li},
journal= {arXiv preprint arXiv:2403.13565},
year = {2024}
}