弱到强 generalization 在虚假关联情况下的可能性？
机器学习
2026-03-23 v2 机器学习
摘要
我们开创了对弱到强 (W2S) generalization 一个关键问题的统一理论和算法研究：在使用伪标签从较弱的教师在具有虚假关联的下游任务上微调强大的预训练学生时，W2S 是否发生，如何改进其失败情况？我们考虑由群不平衡导致的两种虚假关联来源：(i) 在群不平衡标记数据上微调的弱教师，其少数群占比为 ，以及 (ii) 由教师对群不平衡未标记集进行伪标记，其少数群占比为 。在比例渐近极限下，我们对 W2S 增益进行了精确刻画，表明在 时只要伪标签足够，W2S 总是发生，但当 时可能失败，W2S 增益随 增加而减小。我们的理论在各种虚假关联基准和教师-学生对中得到广泛实验验证。为了提升 W2S 性能，我们进一步提出一种简单有效的算法方案，在 W2S 微调后对强学生在高置信度数据子集上重新训练。该算法无需群标签，能在 vanilla W2S 微调之上实现持续显著改进。
引用
@article{arxiv.2509.24005,
title = {Does Weak-to-strong Generalization Happen under Spurious Correlations?},
author = {Chenruo Liu and Yijun Dong and Qi Lei},
journal= {arXiv preprint arXiv:2509.24005},
year = {2026}
}