迁移学习的泛化性能：过参数化与欠参数化机制
机器学习
2023-06-12 v2
摘要
迁移学习是一种通过利用从源任务中获得的知识并将其应用于目标任务，从而实现性能提升与训练成本降低的有用技术。评估迁移学习的有效性依赖于理解源任务与目标任务真实值之间的相似性。在现实应用中，任务常表现出部分相似性，即某些方面相似而其他方面不同或无关。为研究部分相似性对迁移学习性能的影响，我们聚焦于一个具有两组不同特征的线性回归模型：跨任务共享的公共部分与任务特定的部分。本研究探讨了多种迁移学习类型，涵盖参数迁移的两种选项。通过对所学模型误差建立理论刻画，我们比较了这些迁移学习选项，尤其考察了在欠参数化与过参数化机制下泛化性能如何随特征/参数数量变化。此外，我们为确定公共部分与任务特定部分的特征数量以改进泛化性能提供了实用准则。例如，当源任务学习模型中的特征总数固定时，我们表明将更多冗余特征分配给任务特定部分而非公共部分更为有利。此外，在特定场景中，尤其是高噪声水平与小真值参数的情形，舍弃公共部分中的某些真值特征而改用任务特定部分中更多冗余特征可带来显著收益。
引用
@article{arxiv.2306.04901,
title = {Generalization Performance of Transfer Learning: Overparameterized and Underparameterized Regimes},
author = {Peizhong Ju and Sen Lin and Mark S. Squillante and Yingbin Liang and Ness B. Shroff},
journal= {arXiv preprint arXiv:2306.04901},
year = {2023}
}