双重双重下降:线性回归任务间迁移学习中的泛化误差
机器学习
2022-09-29 v8 机器学习
摘要
我们研究两个线性回归问题之间的迁移学习过程。一个重要且及时的特例是回归量被过度参数化并完美插值其训练数据的情况。我们考察一种参数迁移机制,其中目标任务解的参数的一个子集被约束为相关源任务学习到的值。我们解析刻画了目标任务相对于迁移学习架构中显著因素的泛化误差,即可用的样本数、各任务中(自由)参数的数量、从源任务迁移到目标任务的参数数量,以及两个任务之间的关系。我们的非渐近分析表明,目标任务的泛化误差遵循二维双重下降趋势(关于各任务中自由参数的数量),该趋势由迁移学习因素控制。我们的分析指出了迁移参数作为额外过度参数化(即目标任务中额外自由参数)替代方案有益的特定情况。具体而言,我们表明迁移学习设置的效用是脆弱的,并取决于被迁移参数集、任务之间的关系以及真实解之间的精细相互作用。我们还证明,当源任务更接近或等同于目标任务时,过度参数化迁移学习不一定更有益。
引用
@article{arxiv.2006.07002,
title = {Double Double Descent: On Generalization Errors in Transfer Learning between Linear Regression Tasks},
author = {Yehuda Dar and Richard G. Baraniuk},
journal= {arXiv preprint arXiv:2006.07002},
year = {2022}
}