每个任务仅有极少样本的元学习

元学习和多任务学习是两种用于比单独解决每个任务更高效地解决一组相关学习任务的框架。在多任务学习中，给定一组固定的相关学习任务，需要为每个任务输出一个准确的模型；而在元学习中，给定从元分布中独立同分布抽取的任务，需要输出一些能够轻松特化到该元分布中新任务的公共信息。我们考虑一个二分类设置，其中任务通过共享表示相关联，即每个任务 $P$ 可以通过形式为 $f_{P} \circ h$ 的分类器解决，其中 $h \in H$ 是从特征到跨任务共享的表示空间的映射，$f_{P} \in F$ 是从表示空间到标签的任务特定分类器。我们提出的主要问题是：我们需要多少数据才能元学习出一个好的表示？在这里，数据量由我们需要观察的任务数 $t$ 和每个任务的样本数 $n$ 来衡量。我们专注于 $n$ 极小的设定。我们的主要结果表明，在特征向量位于 $\mathbb{R}^d$、表示是从 $\mathbb{R}^d \to \mathbb{R}^k$ 的线性映射、且任务特定分类器是 $\mathbb{R}^k$ 中的半空间的分布无关设定中，我们可以使用每个任务 $n = k+2$ 个样本和 $d \cdot (1/\varepsilon)^{O(k)}$ 个任务来元学习一个误差为 $\varepsilon$ 的表示。每个任务使用如此少的样本进行学习是值得注意的，因为如果每个任务只有 $k+1$ 个样本，元学习将是不可能的，而且我们甚至无法指望用每个任务 $k+2$ 个样本来学习一个准确的任务特定分类器。我们的工作还给出了分布无关多任务学习的刻画，以及元学习与多任务学习之间的归约。