预训练中的类别多样性之福

本文提出了一种新的统计分析，旨在解释近期自然语言处理（NLP）中预训练技术的优越成就。我们证明，当预训练任务的类别（例如掩码语言模型任务中的不同词）足够多样，即预训练最后线性层的最小奇异值（记为$\tilde{\nu}$）较大时，预训练能显著提升下游任务的样本效率。特别地，我们表明迁移学习的超额风险享有$O\left(\frac{1}{\tilde{\nu} \sqrt{n}}\right)$的收敛速率，而标准监督学习为$O\left(\frac{1}{\sqrt{m}}\right)$。此处，$n$为预训练数据数量，$m$为下游任务数据数量，且通常有$n \gg m$。我们的证明依赖于用于拆解复合函数类的向量形式Rademacher复杂度链式法则以及一种修正的自协和条件。这些技术本身可具有独立意义。