通过随机特征岭回归中的弱到强泛化实现缩放律改进
机器学习
2026-05-26 v2 机器学习
摘要
在机器学习中，越来越常见的做法是使用学习好的模型对数据进行标记，然后利用此类数据训练更强大的模型。弱到强泛化现象体现了这一两阶段程序的优势：强学生在由弱教师获得的不完美标签上进行训练，却超过弱教师。本文我们表明，潜在的改进是显著的，因而影响测试误差遵循的缩放律。具体而言，我们考虑通过随机特征岭回归（RFRR）训练的学生与教师。我们的主要技术贡献是推导学生在由教师获取标签后，其额外测试误差的确定性等价物。通过该等价物，我们随后识别出学生缩放律相对于教师缩放律得以改进的 regime，揭示了改进可在偏差主导和方差主导的设置中实现。惊人之处在于，学生可能无论教师的缩放律如何，都能达到 minimax 最优率——事实上，当教师的测试误差甚至不随样本量而衰减时，学生仍可实现最优率。
关键词
引用
@article{arxiv.2603.05691,
title = {Improved Scaling Laws via Weak-to-Strong Generalization in Random Feature Ridge Regression},
author = {Diyuan Wu and Lehan Chen and Theodor Misiakiewicz and Marco Mondelli},
journal= {arXiv preprint arXiv:2603.05691},
year = {2026}
}