Sign-MAML：基于 SignSGD 的高效模型无关元学习
机器学习
2021-12-22 v2 人工智能
计算机视觉与模式识别
摘要
我们提出一种计算高效的一阶模型无关元学习（MAML）新算法。关键使能技术是将 MAML 解释为双层优化（BLO）问题，并利用基于符号的 SGD（signSGD）作为 BLO 的底层优化器。我们表明，通过面向 signSGD 的 BLO 视角，MAML 自然产生一种交替优化方案，仅需所学元模型的一阶梯度。我们将所得 MAML 算法称为 Sign-MAML。与常规一阶 MAML（FO-MAML）算法相比，Sign-MAML 具有理论依据，因为它不施加元训练期间不存在二阶导数的任何假设。在实践中，我们表明 Sign-MAML 在各种少样本图像分类任务上优于 FO-MAML，且与 MAML 相比，它在分类精度与计算效率之间实现了更优雅的权衡。
引用
@article{arxiv.2109.07497,
title = {Sign-MAML: Efficient Model-Agnostic Meta-Learning by SignSGD},
author = {Chen Fan and Parikshit Ram and Sijia Liu},
journal= {arXiv preprint arXiv:2109.07497},
year = {2021}
}