用于鲁棒少样本学习的嵌套双层优化框架
机器学习
2021-12-02 v2
摘要
模型无关元学习（MAML）是一种流行的基于梯度的元学习框架，它假设每个任务或实例对元学习器的贡献是相等的。因此，它无法解决少样本学习中基类与新颖类之间的域偏移问题。在本工作中，我们提出一种新颖的鲁棒元学习算法NestedMAML，它学习为训练任务或实例分配权重。我们将权重视为超参数，并在嵌套双层优化方法（与MAML中的标准双层优化相反）中使用一小部分验证任务集迭代优化它们。随后我们将NestedMAML应用于元训练阶段，该阶段涉及（1）从不同于元测试任务分布中采样的若干任务，或（2）一些带有噪声标签的数据样本。在合成和真实世界数据集上的大量实验表明，NestedMAML有效减轻了“不需要的”任务或实例的影响，相比最先进的鲁棒元学习方法取得了显著改进。
引用
@article{arxiv.2011.06782,
title = {A Nested Bi-level Optimization Framework for Robust Few Shot Learning},
author = {Krishnateja Killamsetty and Changbin Li and Chen Zhao and Rishabh Iyer and Feng Chen},
journal= {arXiv preprint arXiv:2011.06782},
year = {2021}
}
备注
To appear in the proceedings of AAAI 2022