基于梯度的元学习：利用不确定性加权损失进行少样本学习
机器学习
2022-08-18 v1
摘要
模型无关元学习（Model-Agnostic Meta-Learning, MAML）是最成功的少样本学习元学习技术之一。它使用梯度下降来学习各种任务之间的共性，使模型能够学习自身参数的元初始化，从而利用少量带标签训练数据快速适应新任务。少样本学习的一个关键挑战是任务不确定性。尽管通过大量任务进行元学习可获得强先验，但由于训练数据集规模通常过小，无法保证新任务的精确模型。在本研究中，首先，在选择初始化参数的过程中，提出新方法使任务特定学习器自适应地学习选择能最小化新任务损失的初始化参数。然后，我们针对元损失部分提出两种改进方法：方法 1 通过比较元损失差异生成权重，以在类别数较少时提高精度；方法 2 引入各任务的同方差不确定性（homoscedastic uncertainty），基于原始梯度下降对多损失进行加权，从而在确保精度提升的同时增强对新类别的泛化能力。与以往基于梯度的元学习方法相比，我们的模型在回归任务和少样本分类中取得了更好的性能，并提高了模型对元测试集中学习率和查询集的鲁棒性。
引用
@article{arxiv.2208.08135,
title = {Gradient-Based Meta-Learning Using Uncertainty to Weigh Loss for Few-Shot Learning},
author = {Lin Ding and Peng Liu and Wenfeng Shen and Weijia Lu and Shengbo Chen},
journal= {arXiv preprint arXiv:2208.08135},
year = {2022}
}