Sharp-MAML：锐度感知的模型无关元学习
机器学习
2022-08-16 v4 系统与控制
系统与控制
最优化与控制
机器学习
摘要
模型无关元学习（MAML）是当前少样本元学习的主流方法之一。尽管有效，MAML的优化因其固有的双层问题结构而具挑战性。具体而言，MAML的损失景观比其经验风险最小化对应物复杂得多，可能存在更多鞍点与局部极小点。为应对该挑战，我们利用近期提出的锐度感知最小化，开发了称为Sharp-MAML的锐度感知MAML方法。我们通过实验证明，Sharp-MAML及其计算高效变体可优于朴素MAML基线（例如，在Mini-Imagenet上准确率提升）。我们以收敛速率分析与Sharp-MAML的泛化界补充了该实证研究。据我们所知，这是首个在双层学习背景下关于锐度感知最小化的实证与理论研究。代码见https://github.com/mominabbass/Sharp-MAML。
引用
@article{arxiv.2206.03996,
title = {Sharp-MAML: Sharpness-Aware Model-Agnostic Meta Learning},
author = {Momin Abbas and Quan Xiao and Lisha Chen and Pin-Yu Chen and Tianyi Chen},
journal= {arXiv preprint arXiv:2206.03996},
year = {2022}
}
备注
Note: While finalizing the Github repository, we found an error in the testing script. We have reimplemented the code and updated the results in this version. The new code has been uploaded to Github, and the revision includes tables 1-5 and figures 2-3