论无监督预训练的可证明优势

无监督预训练利用大量未标注数据学习有用的表示，以促进下游任务的学习，是现代大规模机器学习系统的关键组成部分。尽管其取得了巨大的经验成功，但对无监督预训练为何通常有帮助的严格理论理解仍相当有限——现有结果大多局限于特定的方法或具有专门结构假设的无监督预训练方法。本文研究了一个通用框架，其中无监督表示学习任务由潜变量模型抽象类 $\Phi$ 指定，下游任务由预测函数类 $\Psi$ 指定。我们考虑使用最大似然估计（MLE）进行无监督预训练、使用经验风险最小化（ERM）学习下游任务的自然方法。我们证明，在温和的“信息性”条件下，我们的算法对下游任务实现了 $\tilde{\mathcal{O}}(\sqrt{\mathcal{C}_\Phi/m} + \sqrt{\mathcal{C}_\Psi/n})$ 的超额风险，其中 $\mathcal{C}_\Phi, \mathcal{C}_\Psi$ 是函数类 $\Phi, \Psi$ 的复杂度度量，$m, n$ 分别为未标注和标注数据的数量。与仅使用标注数据执行监督学习所达到的基线 $\tilde{\mathcal{O}}(\sqrt{\mathcal{C}_{\Phi \circ \Psi}/n})$ 相比，我们的结果严格展示了当 $m \gg n$ 且 $\mathcal{C}_{\Phi\circ \Psi} > \mathcal{C}_\Psi$ 时无监督预训练的好处。本文进一步表明，我们的通用框架涵盖多种无监督预训练方法，包括因子模型、高斯混合模型和对比学习。