基于龙格-库塔方法的模型无关元学习
机器学习
2019-10-21 v2 机器学习
摘要
元学习已成为从少量样本学习新任务的重要框架。任何元学习模型的成功取决于(i)其对新任务的快速适应，以及(ii)在相似任务间拥有共享表示。本文通过龙格-库塔方法分析优化过程的时间动力学，扩展了Finn等人（2017）提出的模型无关元学习（MAML）框架，以实现性能提升。该方法使我们能够对优化过程进行细粒度控制，并有助于同时达成跨任务的适应与表示目标。通过利用这种精细控制，我们证明存在多种有原则的方式更新MAML，并表明经典的MAML优化仅仅是主要关注快速适应的二阶龙格-库塔方法的一个特例。在基准分类、回归和强化学习任务上的实验表明，这种精细控制有助于获得改进的结果。
引用
@article{arxiv.1910.07368,
title = {Model-Agnostic Meta-Learning using Runge-Kutta Methods},
author = {Daniel Jiwoong Im and Yibo Jiang and Nakul Verma},
journal= {arXiv preprint arXiv:1910.07368},
year = {2019}
}