差异即美德：从内在维度视角看弱到强泛化

弱到强（W2S）泛化是一种微调（FT）类型，其中强（大）学生模型在弱教师生成的伪标签上进行训练。令人惊讶的是，W2S 微调通常优于弱教师。我们试图通过观察到微调通常发生在内在低维空间中这一现象来理解这一现象。利用微调的低内在维度特性，我们从方差缩减的视角在无脊回归设定下分析 W2S。对于一个具有足够表达力的低维特征子空间 $\mathcal{V}_s, \mathcal{V}_w$ 的强学生-弱教师对，我们提供了主导 W2S 泛化误差的方差的精确刻画。这揭示了 W2S 中强弱模型之间差异的一个优点：弱教师的方差在 $\mathcal{V}_s \cap \mathcal{V}_w$ 中被强学生继承，而在差异子空间 $\mathcal{V}_w \setminus \mathcal{V}_s$ 中，对于 W2S 的 $N$ 个伪标签，方差被缩减了 $\mathrm{dim}(\mathcal{V}_s)/N$ 倍。我们的分析进一步阐明了 W2S 中的样本复杂度以及性能差距恢复的缩放规律。该分析得到了合成回归问题以及真实视觉和 NLP 任务实验的支持。