La-MAML：面向持续学习的超前元学习
机器学习
2020-11-13 v2 机器学习
摘要
持续学习问题涉及训练容量有限的模型，以在未知数量的顺序到达的任务集上表现良好。虽然元学习在减少新旧任务之间的干扰方面显示出巨大潜力，但当前的训练过程往往缓慢或离线，并且对许多超参数敏感。在这项工作中，我们提出 Look-ahead MAML (La-MAML)，一种基于快速优化的元学习算法，用于在线持续学习，并辅以小型情景记忆。我们在元学习更新中对逐参数学习率的调制使我们能够建立与先前关于超梯度和元下降工作的联系。与传统的基于先验的方法相比，这提供了一种更灵活、更高效的方式来缓解灾难性遗忘。La-MAML 在真实世界视觉分类基准上的持续学习中取得了优于其他基于回放、基于先验和基于元学习方法的性能。源代码可在此处找到：https://github.com/montrealrobotics/La-MAML
引用
@article{arxiv.2007.13904,
title = {La-MAML: Look-ahead Meta Learning for Continual Learning},
author = {Gunshi Gupta and Karmesh Yadav and Liam Paull},
journal= {arXiv preprint arXiv:2007.13904},
year = {2020}
}
备注
Accepted for Oral Presentation at NeurIPS 2020