协变量偏移下线性回归中预训练-微调的功效与局限
机器学习
2022-08-04 v1 最优化与控制
机器学习
摘要
我们研究协变量偏移下的线性回归，其中输入协变量的边际分布在源域和目标域中不同，而给定输入协变量的输出的条件分布在两域间相似。我们针对该问题探究一种在源数据上预训练并基于目标数据微调（均通过在线 SGD 进行）的迁移学习方法。我们建立了该方法尖锐的依赖于实例的超额风险上界和下界。我们的界表明，对于一大类线性回归实例，使用 O(N^2) 源数据（以及稀缺或无目标数据）的迁移学习与使用 N 目标数据的监督学习同样有效。此外，我们表明即使仅使用少量目标数据微调，也可大幅减少预训练所需的源数据量。我们的理论阐明了预训练应对协变量偏移问题的有效性、局限性以及微调的益处。
引用
@article{arxiv.2208.01857,
title = {The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift},
author = {Jingfeng Wu and Difan Zou and Vladimir Braverman and Quanquan Gu and Sham M. Kakade},
journal= {arXiv preprint arXiv:2208.01857},
year = {2022}
}
备注
32 pages, 1 figure, 1 table