数据增强价值几何？关于缩放定律、不变性与隐式正则化的探究
机器学习
2023-04-03 v2 计算机视觉与模式识别
摘要
尽管数据增强带来了明确的性能收益，但人们对其为何如此有效知之甚少。在本文中，我们厘清了数据增强发挥作用的几个关键机制。通过建立增强数据与额外真实数据之间的兑换率，我们发现，在分布外测试场景中，产生多样但与数据分布不一致的样本的增强，甚至可能比额外的训练数据更有价值。此外，我们发现，鼓励不变性的数据增强比单纯的不变性更有价值，尤其是在中小规模训练集上。遵循这一观察，我们表明增强在训练期间引入了额外的随机性，有效地平坦了损失景观。
引用
@article{arxiv.2210.06441,
title = {How Much Data Are Augmentations Worth? An Investigation into Scaling Laws, Invariance, and Implicit Regularization},
author = {Jonas Geiping and Micah Goldblum and Gowthami Somepalli and Ravid Shwartz-Ziv and Tom Goldstein and Andrew Gordon Wilson},
journal= {arXiv preprint arXiv:2210.06441},
year = {2023}
}
备注
31 pages, 29 figures. To be presented at ICLR 2023. Code at https://github.com/JonasGeiping/dataaugs