弱到强泛化的机制：一个理论视角
机器学习
2025-05-27 v1 机器学习
摘要
弱到强泛化现象指的是学生模型在由较弱教师生成的不完美标签上训练后仍超越该教师，这一现象广泛存在但其驱动机制尚不明确。本文通过对简单模型的理论分析，阐明了驱动这一现象的三个核心机制。首先，通过对岭回归的分析，我们研究了教师和学生正则化之间的相互作用，证明了学生可以补偿教师的欠正则化并实现更低的测试误差。我们还分析了模型参数化方案的作用。其次，通过对加权岭回归的分析，我们显示，具有更贴合目标正则化结构的学生模型可超越其教师。第三，在非线性多指数设置下，我们展示了学生可以在教师无法捕获的难学特征上，利用自身更广泛的预训练来学习难以学习的特征，同时从教师那里学习易于学习的任务特定特征。
引用
@article{arxiv.2505.18346,
title = {On the Mechanisms of Weak-to-Strong Generalization: A Theoretical Perspective},
author = {Behrad Moniri and Hamed Hassani},
journal= {arXiv preprint arXiv:2505.18346},
year = {2025}
}