正则化与数据增强的效果具有类别依赖性
机器学习
2022-04-12 v2 计算机视觉与模式识别
机器学习
摘要
正则化是通过约束模型复杂度来防止过拟合并提升泛化性能的基本技术。当前的深度网络严重依赖数据增强（DA）或权重衰减等正则化手段，并采用结构风险最小化（即交叉验证）来选择最优的正则化超参数。在本研究中，我们证明诸如DA或权重衰减等技术会产生一个复杂度降低但在不同类别间不公平的模型。通过交叉验证找到的最优DA量或权重衰减量会导致某些类别上的灾难性模型性能，例如在ImageNet上使用resnet50时，仅在训练中引入随机裁剪DA，'谷仓蜘蛛'的分类测试准确率就从68%下降到46%。更令人惊讶的是，当引入权重衰减等非信息性正则化技术时，也会出现此类性能下降。这些结果表明，我们追求在所有类别和样本上平均的、不断提升的泛化性能，却留下了那些默默牺牲某些类别性能的模型和正则化器。当将模型部署到下游任务时，这种情况可能变得危险，例如，在ImageNet预训练阶段引入随机裁剪DA后，部署到iNaturalist上的ImageNet预训练resnet50在类别#8889上的性能从70%下降到30%。这些结果表明，设计无类别依赖偏差的新型正则化器仍然是一个开放的研究问题。
引用
@article{arxiv.2204.03632,
title = {The Effects of Regularization and Data Augmentation are Class Dependent},
author = {Randall Balestriero and Leon Bottou and Yann LeCun},
journal= {arXiv preprint arXiv:2204.03632},
year = {2022}
}