迁移学习理论：任务多样性的重要性

我们通过表示学习为迁移学习提供了新的统计保证——当迁移是通过学习跨不同任务共享的特征表示来实现时。这使得利用远比孤立学习所需少得多的数据，即可在新任务上学习。形式上，我们考虑由形如 $f_j \circ h$ 的函数参数化的 $t+1$ 个任务，位于一般函数类 $\mathcal{F} \circ \mathcal{H}$ 中，其中每个 $f_j$ 是 $\mathcal{F}$ 中的特定任务函数，$h$ 是 $\mathcal{H}$ 中的共享表示。令 $C(\cdot)$ 表示函数类的复杂度度量，我们表明对于多样化训练任务：（1）跨前 $t$ 个训练任务学习共享表示的样本复杂度随 $C(\mathcal{H}) + t C(\mathcal{F})$ 缩放，尽管无法显式访问来自特征表示的信号；（2）在具有表示的准确估计时，学习新任务所需的样本复杂度仅随 $C(\mathcal{F})$ 缩放。我们的结果依赖于任务多样性的一个新的通用概念——适用于具有一般任务、特征和损失的模型——以及高斯复杂度的一种新的链式法则。最后，我们在文献中几个重要模型中展示了我们通用框架的效用。