任务景观如何影响 MAML 的性能？
机器学习
2022-08-11 v5 最优化与控制
机器学习
摘要
Model-Agnostic Meta-Learning (MAML) 因能够通过一步或几步随机梯度下降训练出快速适应新任务的模型而日益流行。然而，与标准非自适应学习 (NAL) 相比，MAML 目标函数的优化难度显著更大，且在多种场景下，MAML 相较于 NAL 在其解的快速适应能力上有多大提升，目前知之甚少。我们在由简单任务和困难任务组成的线性回归设定中分析性地解决了这一问题，其中任务的难度与梯度下降在该任务上的收敛速率相关。具体而言，我们证明，为了使 MAML 相较于 NAL 获得显著增益，(i) 任务之间必须存在难度差异，并且 (ii) 困难任务的最优解必须紧密聚集，且其中心远离简单任务最优解的中心。我们还给出了数值和分析结果，表明这些见解适用于两层神经网络。最后，我们提供了少样本图像分类实验，支持了关于何时应使用 MAML 的见解，并强调了在实践中基于困难任务训练 MAML 的重要性。
引用
@article{arxiv.2010.14672,
title = {How Does the Task Landscape Affect MAML Performance?},
author = {Liam Collins and Aryan Mokhtari and Sanjay Shakkottai},
journal= {arXiv preprint arXiv:2010.14672},
year = {2022}
}