多预训练模型线性回归的迁移学习：通过过参数去偏实现更多预训练模型的优势
机器学习
2026-02-19 v1
摘要
我们研究使用多个可为过参数的最小二乘预训练模型进行线性回归任务的迁移学习。我们将目标学习任务表述为在目标数据集上最小化平方误差，并对学习到的模型与预训练模型之间的距离进行惩罚的优化问题。我们对学习到的目标模型的测试误差进行了解析性公式化，并提供了相应的经验评估。我们的结果阐明了在何种情况下使用更多预训练模型可以改善迁移学习。具体而言，如果预训练模型是过参数化的，则使用足够数量的它们对有益的迁移学习至关重要。然而，学习可能受到预训练模型的过参数偏置的妨碍，即在高维参数空间中， minimum -范解对由训练示例在细分中受限的限制。我们提出一种通过乘法修正因子进行的简单去偏方法，可减少过参数偏置并利用更多预训练模型来学习目标预测器。
引用
@article{arxiv.2602.16531,
title = {Transfer Learning of Linear Regression with Multiple Pretrained Models: Benefiting from More Pretrained Models via Overparameterization Debiasing},
author = {Daniel Boharon and Yehuda Dar},
journal= {arXiv preprint arXiv:2602.16531},
year = {2026}
}