训练期间每幅图像抽取多个增强样本可有效降低测试误差
机器学习
2022-02-25 v2 计算机视觉与模式识别
摘要
在计算机视觉中，对小批量中每个独特图像从数据增强过程中抽取单个样本是标准做法。然而近期工作表明抽取多个样本可获得更高的测试准确率。在本工作中，我们对每个独特图像对应的增强样本数量如何影响训练深度 ResNet 时模型在保留数据上的性能进行了详细的实证评估。我们证明每幅图像抽取多个样本持续提升了小批量和大规模批量训练所达到的测试准确率。关键在于，即使每幅图像不同数量的增强执行了相同数量的参数更新和梯度评估（需要相同的总计算量），该益处依然出现。尽管先前工作发现由数据集子采样引起的梯度估计方差具有隐式正则化益处，我们的实验表明由数据增强过程引起的方差损害泛化。我们将这些见解应用于高性能的 NFNet-F5，在 ImageNet 上无额外数据取得了 86.8 的 top-1 准确率。
引用
@article{arxiv.2105.13343,
title = {Drawing Multiple Augmentation Samples Per Image During Training Efficiently Decreases Test Error},
author = {Stanislav Fort and Andrew Brock and Razvan Pascanu and Soham De and Samuel L. Smith},
journal= {arXiv preprint arXiv:2105.13343},
year = {2022}
}