具有自适应超参数的元学习
机器学习
2020-12-09 v2 计算机视觉与模式识别
摘要
尽管 MAML 广受欢迎，最近的若干研究对其在测试任务与训练任务不同时的有效性提出质疑，从而提出了各种任务条件化方法以改进初始化。与寻找更好的任务感知初始化不同，我们关注 MAML 框架中一个互补的因素，即内循环优化（或快速适应）。因此，我们提出了一种新的权重更新规则，可极大增强快速适应过程。具体而言，我们引入一个小型元网络，能够自适应地生成逐步超参数：学习率与权重衰减系数。实验结果验证，用于快速适应的自适应超参数学习（ALFA）是同等重要的要素，却在最近的少样本学习方法中常被忽视。令人惊讶的是，从随机初始化出发配合 ALFA 进行快速适应已能优于 MAML。
引用
@article{arxiv.2011.00209,
title = {Meta-Learning with Adaptive Hyperparameters},
author = {Sungyong Baik and Myungsub Choi and Janghoon Choi and Heewon Kim and Kyoung Mu Lee},
journal= {arXiv preprint arXiv:2011.00209},
year = {2020}
}
备注
NeurIPS 2020. Code at https://github.com/baiksung/alfa. Typo fix in the updated version