通过均值场分析理解迁移学习

我们提出了一种新框架，通过概率测度空间上的微分计算来探索迁移学习的泛化误差。具体而言，我们考虑两种主要的迁移学习场景：$\alpha$-ERM 和采用 KL 正则化经验风险最小化的微调，并在此基础上建立了 generalization error 和 population risk 收敛速率的通用条件。基于我们的理论结果，我们展示了在某些合适的可积性和正则性假设下，使用单隐藏层神经网络在均值场范式下进行迁移学习的优势。