过拟合元学习泛化性能的理论刻画
机器学习
2023-04-11 v1
摘要
元学习已成为一种通过跨许多相似任务训练来提高训练性能的成功方法，尤其是在深度神经网络（DNNs）中。然而，对于诸如DNNs等过参数化模型在元学习中何时以及为何能良好泛化的理论理解仍然有限。作为应对该挑战的初步步骤，本文研究了具有高斯特征的线性回归模型下过拟合元学习的泛化性能。与同一方向的少数近期研究不同，我们的框架允许模型参数数量任意大于真实信号中的特征数量，从而自然捕捉实际深度元学习中的过参数化机制。我们表明，模型无关元学习（MAML）的过拟合最小范数解可能是有益的，这类似于近期经典（单任务）线性回归中“良性过拟合”和“双下降”现象的显著发现。然而，由于元学习的独特性，如任务特定的梯度下降内部训练以及训练任务间真实信号的多样性/波动性，我们发现了单任务线性回归中不存在的新的有趣性质。我们首先给出了泛化误差的高概率上界（在合理紧度下），其中某些项随特征数量增加而减小。我们的分析表明，当每个训练任务的噪声及真实信号的多样性/波动性较大时，良性过拟合更显著且更易观察。在这种情况下，我们证明过拟合最小范数解能取得比欠参数化解更低的泛化误差。
引用
@article{arxiv.2304.04312,
title = {Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning},
author = {Peizhong Ju and Yingbin Liang and Ness B. Shroff},
journal= {arXiv preprint arXiv:2304.04312},
year = {2023}
}