重用预训练模型实现鲁棒的分布外少样本学习
机器学习
2021-03-17 v1 计算机视觉与模式识别
摘要
模型无关元学习(MAML)是一种流行的少样本学习方法,但假设我们可以访问元训练集。实际上,由于数据隐私问题、知识产权问题或仅缺乏计算资源,在元训练集上训练未必总是可行。本文考虑一种新问题:重用预训练的 MAML 检查点来解决新的少样本分类任务。由于潜在的分布失配,原始 MAML 步长可能不再最优。因此我们提出一种替代的元测试流程,并将 MAML 梯度步长与对抗训练及基于不确定性的步长自适应相结合。我们的方法在使用 SGD 与 Adam 优化器的同域与跨域基准上均优于“朴素”MAML,并显示出对基础步长选择的改进鲁棒性。
引用
@article{arxiv.2103.09027,
title = {Repurposing Pretrained Models for Robust Out-of-domain Few-Shot Learning},
author = {Namyeong Kwon and Hwidong Na and Gabriel Huang and Simon Lacoste-Julien},
journal= {arXiv preprint arXiv:2103.09027},
year = {2021}
}
备注
Appears in: Proceedings of the Ninth International Conference on Learning Representations (ICLR 2021). 20 pages