基于部分参数任务特定适应的元学习收敛性
机器学习
2020-10-26 v3 最优化与控制
机器学习
摘要
尽管模型无关元学习（MAML）是元学习实践中非常成功的算法，但其计算代价可能很高，因为它在任务特定适应的内循环与元初始化训练的外循环中都更新所有模型参数。Raghu等人2019年近期提出了一种更高效的算法ANIL（意指几乎无内循环），其仅在内循环中适应一小部分参数，从而经大量实验证明比MAML计算代价大幅降低。然而，ANIL的理论收敛性尚未被研究。本文中，我们在两种代表性内循环损失几何——即强凸与非凸——下刻画了ANIL的收敛速率与计算复杂度。我们的结果表明，此类几何性质会显著影响ANIL的整体收敛表现。例如，随着内循环梯度下降步数增加，ANIL对强凸内循环损失实现更快收敛速率，而对非凸内循环损失则速率更慢。此外，我们的复杂度分析从理论上量化了ANIL相对MAML的效率提升。在标准少样本元学习基准上的实验验证了我们的理论发现。
引用
@article{arxiv.2006.09486,
title = {Convergence of Meta-Learning with Task-Specific Adaptation over Partial Parameters},
author = {Kaiyi Ji and Jason D. Lee and Yingbin Liang and H. Vincent Poor},
journal= {arXiv preprint arXiv:2006.09486},
year = {2020}
}
备注
Accepted by NeurIPS 2020