加权元学习
机器学习
2020-03-24 v1 机器学习
摘要
元学习利用相关的源任务来学习一个初始化，该初始化可以用有限的标注样本快速微调到目标任务。然而，许多流行的元学习算法，如模型无关元学习（model-agnostic meta-learning, MAML），仅假设可访问目标样本进行微调。在这项工作中，我们提供了一个基于对不同源任务损失进行加权的元学习通用框架，其中权重允许依赖于目标样本。在这一通用设定下，我们给出了源任务的加权经验风险与期望目标风险之间距离的上界，该上界以积分概率度量（integral probability metric, IPM）和 Rademacher 复杂度表示，适用于包括 MAML 和一个加权 MAML 变体在内的多种元学习设定。然后，我们开发了一种基于最小化相对于经验 IPM 的误差界的学习算法，包括一个加权 MAML 算法，即 -MAML。最后，我们在多个回归问题上通过实验证明，我们的加权元学习算法能够找到比均匀加权元学习算法（如 MAML）更好的初始化。
引用
@article{arxiv.2003.09465,
title = {Weighted Meta-Learning},
author = {Diana Cai and Rishit Sheth and Lester Mackey and Nicolo Fusi},
journal= {arXiv preprint arXiv:2003.09465},
year = {2020}
}
备注
18 pages, 7 figures