过参数化加剧伪相关现象的原因探究
机器学习
2020-08-28 v3 计算机视觉与模式识别
机器学习
摘要
我们研究为何过参数化——将模型规模增加到远超过零训练误差的点——在数据中存在伪相关时，虽能改善平均测试误差，却会损害少数群体的测试误差。通过对两个图像数据集的模拟与实验，我们确定了驱动该行为的两个关键训练数据属性：多数群体与少数群体的比例，以及伪相关的信噪比。随后我们分析了一个线性设定，并从理论上展示了模型倾向于“记忆”更少样本的归纳偏置如何导致过参数化产生损害。我们的分析引出了一种反直觉的方法，即对多数群体进行子采样，该方法在过参数化 regime 下经验性地实现了低少数群体误差，尽管标准的对少数群体上权重方法失效。总体而言，我们的结果表明，在使用过参数化模型与使用全部训练数据以实现低最差群体误差之间存在张力。
引用
@article{arxiv.2005.04345,
title = {An Investigation of Why Overparameterization Exacerbates Spurious Correlations},
author = {Shiori Sagawa and Aditi Raghunathan and Pang Wei Koh and Percy Liang},
journal= {arXiv preprint arXiv:2005.04345},
year = {2020}
}