正分布迁移：理解可计算学习的框架

我们研究一种学习场景：目标是依据目标分布 $D(x)$ 学习目标函数 $f(x)$，但训练时使用来自不同训练分布 $D'(x)$ 的独立同分布样本，由真实目标 $f(x)$ 标记。这种分布迁移（此处表现为协变量迁移）通常被视为负面因素，因其会损害或增加学习难度，而传统的分布迁移文献主要关注限制或避免这种负面影响。相反，我们认为在选取合适的 $D'(x)$ 时，迁移可以是正向的，从而使学习更容易——这种观点称为正分布迁移（Positive Distribution Shift, PDS）。这种观点在当代机器学习中至关重要，由于大量创新都集中于寻找优良的训练分布 $D'(x)$，而非改变训练算法。我们进一步论证，益处往往是计算层面的，而非统计层面的，PDS 使得即使使用标准梯度训练方法，计算上困难的问题也能变得可计算。我们形式化了 PDS 的不同变体，展示了某些困难类别在 PDS 下易于学习，并与成员查询学习建立了联系。