具有几何自适应预条件子的元学习
计算机视觉与模式识别
2023-11-30 v2 人工智能
机器学习
摘要
与模型无关的元学习 (MAML) 是最成功的元学习算法之一。它具有双层优化结构，其中外循环过程学习共享初始化，内循环过程优化任务特定权重。尽管 MAML 在内循环中依赖标准梯度下降，近期研究表明用元学习得到的预条件子控制内循环梯度下降是有益的。然而，现有预条件子无法同时以任务特定且路径依赖的方式自适应。此外，它们不满足黎曼度量条件，而该条件可实现用预条件梯度进行最速下降学习。在本研究中，我们提出几何自适应预条件梯度下降 (GAP)，可克服 MAML 中的局限；GAP 能高效元学习依赖于任务特定参数的预条件子，并且其预条件子可证明为黎曼度量。得益于这两个性质，几何自适应预条件子可有效改进内循环优化。实验结果表明，在多种少样本学习任务中，GAP 优于最先进的 MAML 系列与预条件梯度下降-MAML (PGD-MAML) 系列。代码见：https://github.com/Suhyun777/CVPR23-GAP。
引用
@article{arxiv.2304.01552,
title = {Meta-Learning with a Geometry-Adaptive Preconditioner},
author = {Suhyun Kang and Duhun Hwang and Moonjung Eo and Taesup Kim and Wonjong Rhee},
journal= {arXiv preprint arXiv:2304.01552},
year = {2023}
}
备注
Accepted at CVPR 2023. Code is available at: https://github.com/Suhyun777/CVPR23-GAP; This is an extended version of our previous CVPR23 work