通过良好超越的证明弱到强泛化
机器学习
2025-02-03 v2 机器学习
摘要
经典的教师-学生模型在机器学习中假设强教师监督弱学生以提升学生能力。我们则考虑反向情况，即弱教师监督强学生并提供不完美的伪标签。这种范式最近由 Burns 等人于 2023 年提出，称为“弱到强泛化”。我们在一个标准化的过参数化 spikes 协方差模型中，对二分类和多标签分类进行理论分析，该模型包含高斯协变量，其中弱教师的伪标签在渐近意义上类似于随机猜测。在这些假设下，我们在弱监督后证明了强学生泛化的两个渐近相位：(1) 成功泛化，(2) 随机猜测。我们的技术应最终扩展到弱到强多分类问题。为此，我们证明了相关高斯分布最大值的最低尾不等式，这可能本身也具有独立的兴趣。理解多标签设置强化了在伪标签可用时使用逻辑值的重要性。
引用
@article{arxiv.2410.04638,
title = {Provable Weak-to-Strong Generalization via Benign Overfitting},
author = {David X. Wu and Anant Sahai},
journal= {arXiv preprint arXiv:2410.04638},
year = {2025}
}
备注
ICLR 2025, 38 pages, 4 figures