TransFusion：面向高维回归的协变量偏移鲁棒迁移学习

迁移学习区别于传统监督学习的主要挑战在于分布偏移，具体体现为源模型与目标模型之间的偏移以及边缘协变量分布之间的偏移。本文研究高维回归设定下存在协变量偏移时的模型偏移问题。具体而言，我们提出了一种两步方法，采用新颖的融合正则化项，有效利用源任务样本来提升目标任务在有限样本下的学习性能。我们为目标模型的估计误差提供了非渐近界，证明了所提方法对协变量偏移的鲁棒性。我们进一步确立了估计量达到极大极小最优的条件。此外，我们将该方法扩展至分布式设定，支持预训练-微调策略，仅需一轮通信即可保持与集中式版本相同的估计速率。数值实验验证了我们的理论，突出了该方法对协变量偏移的鲁棒性。