最后一层重新训练中的最优损失加权
机器学习
2025-06-26 v1 机器学习
摘要
尽管机器学习模型在规模化的判别性任务中日益有能力，但其在克服训练数据引入的偏见方面的能力受到日益增加的 scrutiny。先前的结果表明，参数化的两个极端具有截然不同的行为：一个是 population（欠参数化）设置，其中损失加权是最优的；另一个是可分离的过参数化设置，其中损失加权对确保各类别性能平等几乎无效。本 work 探索了最后一层重新训练（LLR）的范畴，其中不可见的有限（重新训练）数据经常不可分离且模型比例适中，处于上述两个极端之间。我们在理论和实践中表明，损失加权在此范畴内仍然有效，但必须考虑模型的相对过参数化程度。
引用
@article{arxiv.2506.20025,
title = {Thumb on the Scale: Optimal Loss Weighting in Last Layer Retraining},
author = {Nathan Stromberg and Christos Thrampoulidis and Lalitha Sankar},
journal= {arXiv preprint arXiv:2506.20025},
year = {2025}
}