用于少样本学习的上下文梯度缩放
计算机视觉与模式识别
2021-10-22 v1
摘要
模型无关元学习(MAML)是一种著名的基于优化的元学习算法,在各种计算机视觉任务(如少样本分类)中表现良好。MAML 旨在学习一个初始化,使模型能在少量步数内适应新任务。然而,由于分类器(头部)的梯度范数远大于骨干网络各层的梯度范数,模型侧重于以相似表征学习分类器的决策边界。此外,高层层的梯度范数小于其他层。因此,MAML 的骨干网络通常学习任务通用特征,导致内循环中适应性能下降。为解决或缓解该问题,我们提出上下文梯度缩放(CxGrad),其缩放骨干网络的梯度范数以促进内循环中对任务特定知识的学习。由于缩放因子由任务条件参数生成,骨干网络的梯度范数可按任务方式缩放。实验结果表明,CxGrad 有效鼓励骨干网络在内循环中学习任务特定知识,并在同域与跨域少样本分类中显著提升 MAML 性能。
引用
@article{arxiv.2110.10353,
title = {Contextual Gradient Scaling for Few-Shot Learning},
author = {Sanghyuk Lee and Seunghyun Lee and Byung Cheol Song},
journal= {arXiv preprint arXiv:2110.10353},
year = {2021}
}
备注
Accepted to WACV2022