模型规模对最差组泛化的影响
机器学习
2021-12-09 v1
摘要
已有研究表明，在子组信息已知的多种设定下，过度参数化会导致稀有子组上的测试准确率变差。为获得更全面的认识，我们考虑了子组信息未知的情形。我们在广泛的设定下研究了经验风险最小化（ERM）下模型规模对最差组泛化的影响，变化因素包括：1）架构（ResNet、VGG或BERT），2）领域（视觉或自然语言处理），3）模型规模（宽度或深度），以及4）初始化（预训练权重或随机权重）。我们的系统评估揭示，在所有设定下，增大模型规模并不会损害、甚至可能有助于ERM下的最差组测试性能。特别是，增大预训练模型规模一致地提升了Waterbirds和MultiNLI上的性能。我们建议实践者在子组标签未知时使用更大的预训练模型。
引用
@article{arxiv.2112.04094,
title = {The Effect of Model Size on Worst-Group Generalization},
author = {Alan Pham and Eunice Chan and Vikranth Srivatsa and Dhruba Ghosh and Yaoqing Yang and Yaodong Yu and Ruiqi Zhong and Joseph E. Gonzalez and Jacob Steinhardt},
journal= {arXiv preprint arXiv:2112.04094},
year = {2021}
}
备注
The first four authors contributed equally to the work