模型无关元学习的全局最优性研究
机器学习
2020-06-24 v1 机器学习
摘要
模型无关元学习（MAML）将元学习表述为一个双层优化问题，其中内层基于共享先验解决各子任务，而外层通过优化所有子任务上的聚合性能来搜索最优共享先验。尽管取得了经验上的成功，MAML在理论上仍鲜被理解，尤其在其全局最优性方面，这归因于元目标（外层目标）的非凸性。为弥合理论与实践间的这一鸿沟，我们刻画了MAML所达驻点的 optimality gap（最优性差距），分别针对强化学习与监督学习，其中内层与外层问题均通过一阶优化方法求解。具体而言，我们的刻画将此类驻点的最优性差距与（i）内层目标的泛函几何以及（ii）函数逼近器（包括线性模型与神经网络）的表示能力相联系。据我们所知，我们的分析首次确立了具有非凸元目标的MAML的全局最优性。
引用
@article{arxiv.2006.13182,
title = {On the Global Optimality of Model-Agnostic Meta-Learning},
author = {Lingxiao Wang and Qi Cai and Zhuoran Yang and Zhaoran Wang},
journal= {arXiv preprint arXiv:2006.13182},
year = {2020}
}
备注
41 pages; accepted to ICML; initial draft submitted in Feb, 2020